Создание ассистивного устройства для слепых и слабовидящих людей

Актуальность

По статистике ВОЗ (Всемирная организация здравоохранения), в мире проживают 36 миллионов человек, поверженных слепотой. По подсчётам, приблизительно 1,3 млрд человек в мире живут с той или иной формой нарушения зрения. За последнее время в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях, на базе которой мы реализуем применение «компьютерного зрения». Актуальность исследований в этом направлении подтверждается массовостью различных современных технологий, в том числе использующих нейросеть. Кроме того, как на отечественном, так и на зарубежном рынке ассистивных устройств отсутствуют современные средства и методики реабилитации для слепых и слабовидящих.

Цель

Создание ассистивного устройства для слепых и слабовидящих людей, позволяющего не только свободно ориентироваться в пространстве, но и удовлетворить потребности в социальной мобильности и независимости людей с ограниченными возможностями здоровья (ОВЗ).

Задачи

1. Изучение принципов создания одежды, работа с программой CLO.
2. Изучение технологий сборки устройств на базе микроконтроллеров Arduino.
3. Изучение технологии машинного обучения (TensorFlow).
4. Разработка стратегии создания прототипа.
5. Сборка ультразвукового датчика.
6. Применение нейронных сетей на практике.
7. Нахождение способа встраивания в одежду датчиков и проводов электроснабжения, не сковывающих передвижения и деятельность потребителя.
8. Определить материал для одежды, который будет удобным при ежедневном ношении.
9. Закупка оборудования и расходных материалов.
10. Создание интересного образа. Разработать дизайн одежды, которая будет не только максимально выполнять свои функции, помогая свободно ориентироваться в пространстве, но ещё и модно выглядеть.

Оснащение и оборудование, использованное при создании работы

• Оборудование предоставлено Технопарком Сколково

Описание

Создание прототипа устройства. Прошивка микроконтроллера.

Для прошивки микроконтроллера авторы интегрировали встроенный программатор, поэтому прошить микропроцессор можно через USB-порт на компьютере. После записи микроконтроллер произведёт перезагрузку и при получении питания начнёт свою работу.

В процессе апробаций были разработаны тестовая плата и код под плату с вибромотором.

Информация со всех датчиков будет поступать в приложение на телефоне, обрабатываться и выводиться доступным пользователю сигналом нашего устройства.

В качестве программного обеспечения для визуализации использовалась программа Fusion 360 от Autodesk и Cura. В Fusion 360 авторы разработали 3D-модель, опираясь на имеющиеся особенности датчика. В Cura переводили модели в формат для 3D-принтеров. Имея базовые навыки работы с 3D-принтером, распечатали модель.

Для людей с ОВЗ по зрению важен внешний вид одежды, поэтому перед началом моделирования необходимо выбрать стиль и дизайн. В качестве дизайна авторы выбрали цвета Pantone-2019. Также было необходимо разработать систему скрытого внедрения датчиков и их удобного расположения, чтобы не пострадала функциональность. Было принято решение использовать два тонких слоя ткани для проведения проводов и специальные кармашки для датчиков

Компьютерное зрение. Было принято решение использовать технологию машинного обучения TensorFlow. TensorFlow – программная библиотека с открытым исходным кодом. Для надёжного определения объектов в TensorFlow нужно подготовить большое количество изображений объекта чтобы натренировать классификатор обнаружения. Для тренировки надёжного классификатора «обучающие» изображения должны иметь случайные объекты вместе с нужным объектом, различные фон и освещение. То есть, нужны изображения, где объект частично затеняется, перекрывается другим объектом и т. д.

Для каждого объекта были сделаны по 150–300 различных фотографий различного ракурса.

Последнее, что нужно сделать перед обучением, – это создать метки. Имена классов сопоставляются с номерами идентификаторов классов, то есть карта меток сообщает тренеру, что есть данный объект.

Для того чтобы начать обучение, нужно в каталоге \object_detection ввести команду:

python train.py --logtostderr --train_dir=training/ --pipeline_config_path=training/faster_rcnn_inception_v2_pets.config

Далее, если всё было верно настроено, TensorFlow инициализирует обучение.

Завершить обучение можно, нажав сочетание клавиш Ctrl и C, находясь в командной строке. Нужно создать замороженный граф вывода. Для этого в папке \ object_detection, “XXXX” в “ model.ckpt-XXXX” меняем на наибольший шаг.

Далее требуется экспортировать классификатор обнаружения объектов. Приложение готово, можно запускать.

Результаты работы/выводы

1.   Сшит прототип одежды для ребёнка 10 лет со встроенными кармашками для датчиков.

2.   Эффективная дальность «парктроника» – 4 метра. Способ питания – любой источник питания на 5V (вольт) до 2A (ампер), например, при использовании аккумулятора телефона, – Power bank или обычная пальчиковая батарейка формата АА, её емкости хватит на 100 часов работы системы (всех датчиков, не учитывая потребление Смартфона).

3.   Приложение для компьютера под ОС Windows; оптимизированное приложение на Android. Программа определяет изображение с веб-камеры компьютера или смартфона.

Перспективы использования результатов работы

Проведена апробация на базе ИТ-полигона Всероссийского общества слепых. Получена рекомендация Минпромторга о необходимости производства и включения в реестр средств реабилитации России.

Мнение автора

«Будущее ближе, чем мы думаем. Инновационные инженерные разработки, прорывные решения и уникальные проекты; действующие модели, разработанные учениками московских школ, – это открытая научно-практическая конференция для школьников «Инженеры будущего»