Специальная система для считывания текста Брайля и последующего его перевода в латиницу и кириллицу

Актуальность

В 21 веке большинство незрячих пользуется мобильными телефонами. Для взаимодействия с ним незрячими используются специальные сервисы OCR, которые могут считать текст с экрана и озвучить его. Однако OCR сервисы имеют один недостаток – они не могут считать шрифт Брайля, поскольку он является рельефно-точечным, и считать его довольно проблематично. Причём, незрячие часто могут сфотографировать текст на Брайле, но при этом информацию из текста они достать не могут.

На данный момент в России порядка 200 тысяч незрячих. Из них примерно ⅔, по статистике всемирной организации здравоохранения, потеряли зрение в процессе жизнедеятельности, не с рождения. Обычно в таких случаях довольно сложно протекает процесс реабилитации. В специализированных учреждениях этот вопрос решается по-разному. Например, это могут быть специальные игровые наборы или методики. Но часто простые семьи не могут отправлять своих незрячих родственников в специализированные учреждения, так как те находятся довольно далеко от места жительства. В итоге появляется проблема нехватки реабилитационных средств, доступных для домашнего использования.

Цель

Анализ случаев невозможности считывания текста Брайля с телефона и ПК, а также создание сервиса, способного это сделать.

Задачи

1. Изучение различных САПР систем для разработки прототипа.
2. Определить материал для создания.
3. Закупка оборудования и расходных материалов.
4. Изучение технологий производства.
5. Создание прототипа.

Оснащение и оборудование, использованное при создании работы

• Персональный компьютер с установленным ПО Python и PyCharm
• 3D принтер

Описание

Этапы исследования:

1. Изучение технологии машинного обучения (TensorFlow).
2. Анализ принципа действия OCR.
3. Программирование сервиса.
4. Тестирование.

1. Для создания подобного сервиса необходимо иметь знания в области машинного обучения. Авторы на первом этапе работы над проектом начали изучать один из самых популярных движков машинного обучения под названием TensorFlow. Он представляет из себя Framework для языка программирования Python.

2. После изучения TensorFlow, на следующем этапе работы над проектом, авторы изучили основной принцип действия различных OCR сервисов, то есть сервисов для перевода из картинки в текст.

3. Следующим этапом является программирование. Оно осуществлялась в среде разработки PyCharm, и в результате получилась специально обученная нейронная сеть, способная переводить текст из шрифта брайля в обычный алфавит.

4. Финальным этапом было тестирование. Мы начали тестировать нейросеть, и в результате выяснили, что ее точность составляет порядка 95%, при условии, что текст на картинке не размытый.

Авторами работы был разработан специальный сервис, который способен прочитать текст на шрифте Брайля и перевести его в обычный алфавит.

Результаты работы/выводы

В результате работы мы создали специальный сервис, который способен прочитать текст на шрифте Брайля и перевести его в обычный алфавит.

Перспективы использования результатов работы

Данный проект можно использовать в специализированных учреждениях, для быстрой расшифровки больших текстов, а также для домашнего использования.

Мнение автора о своей работе, проекте «Инженерный класс в московской школе», конференции «Инженеры будущего», пожелания

«Мы рады, что существуют такие проекты, как «Инженерный класс в московской школе». Благодаря им школьники получают больше опыта, решают социально значимые проблемы. А благодаря конференции «Инженеры будущего» мы смогли придумать решение проблемы незрячих людей»