Создание ассистивного устройства для слепых и слабовидящих людей

Актуальность

По статистике Всемирной организации здравоохранения (ВОЗ), в мире проживает 36 миллионов человек, страдающих слепотой. По последним подсчётам, приблизительно 1,3 млрд человек в мире живут с той или иной формой нарушения зрения. За последнее время в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях, на базе которой мы реализуем применение «компьютерного зрения». Актуальность исследований в этом направлении подтверждается массовостью различных применений современных технологий, в том числе – использующих нейросеть. Кроме того, как на отечественном, так и на зарубежном рынке ассистивных устройств, позволяющих жить более самостоятельной и социальной жизнью людям с ограниченными возможностями, отсутствуют современные средства для слепых и слабовидящих.

Цель

Создание ассистивного устройства для слепых и слабовидящих людей, позволяющего не только свободно ориентироваться в пространстве, но и удовлетворить потребности в социальной мобильности и независимости людям с ограниченными возможностями здоровья (ОВЗ).

Задачи
1. Изучение принципов создания одежды, работа с программой CLO.

2. Изучение технологий сборки устройств на базе микроконтроллеров Arduino.

3. Изучение технологии машинного обучения (TensorFlow).

4. Разработка стратегии создания прототипа.

5. Сборка ультразвукового датчика.

6. Применение нейронных сетей на практике.

7. Нахождение способа встраивания датчиков и проводов электроснабжения в одежду, не сковывающего передвижение и деятельность потребителя.

8. Определение материала одежды, который будет удобным при ежедневном ношении.

9. Закупка оборудования и расходных материалов.

10. Разработка дизайна одежды.

Оснащение и оборудование, использованное в работе

• Микроконтроллеры Atmel
• Плата Arduino
• 3D-принтер
• Гравёрный аппарат

Описание

Для работы был выбран контроллер компании Atmel, способный функционировать в системе с сонаром и остальными компонентами при напряжении от обычной пальчиковой батарейки или от Power Banka (~3,6V). Он компактен, занимает мало места на плате и не имеет лишних «ног» (пинов), что позволяет по максимуму использовать его функционал.

Авторы работы для изготовления плат использовали различные способы. С начала спроектировали и нарисовали расположение компонентов и контактов на плате. Для этого воспользовались программой EAGLE от Autodesk. Изначально нарисовали разводку прямо на текстолите с помощью тонкой кисточки и лака. Использовали вариант гравирования печатной платы. С помощью специального гравёрного аппарата процесс занял 10–15 минут.

Программный код был написан на языке С++ с ассемблерными вставками, для этого использовали программу Code Vision AVR. Но в связи с устареванием данного ПО авторы работы перешли на Arduino IDE, затем с помощью программатора (или черед Arduino Uno) запрограммировали микропроцессор.

Для прошивки микроконтроллера интегрировали встроенный программатор – прошили микропроцессор через USB-порт на компьютере.

При планировании проекта в качестве вывода информации было предложено использовать звуковые сигналы по аналогии с машинным парктроником. Но в процессе апробаций разработали тестовую плату и код под плату с вибромотором. Было решено использовать именно этот метод вывода информации, так как он позволяет охватить больший круг потребителей создаваемого продукта.

Информация со всех датчиков поступает в приложение на телефоне, где обрабатывается и выводится доступным сигналом пользователя устройства.
В качестве программного обеспечения для визуализации использовали Fusion 360 от Autodesk и Cura. В Fusion 360 разработали 3D-модель, опираясь на имеющиеся особенности датчика. В Cura переводили модели в формат для 3D-принтеров, затем распечатали модель.

Так как для людей с ОВЗ по зрению важен внешний вид одежды, перед началом моделирования необходимо выбрать стиль и дизайн. Авторы придерживались урбанизма и аскетизма для повышения функциональности одежды и выбрали цвета Pantone 2019. Разработали систему для скрытого внедрения датчиков и их удобного расположения, чтобы не пострадала функциональность. Использовали два тонких слоя ткани для проведения проводов и специальные кармашки для датчиков.

Для создания рисунка взяли лекала в виде .jpeg-картинки. Загрузили модель реального человека с помощью скана, свойства ткани ввели в программу, провели измерения индивидуальной фигуры, сделали 3D-скан человека и оценили затрачиваемый материал на пошив. Затем провели раскрой ткани и прострочку отдельных деталей.
Для создания «компьютерного зрения» использовали технологию машинного обучения TensorFlow.

Результаты

Изготовлен прототип одежды для ребёнка 10 лет со встроенными кармашками для датчиков. Эффективная дальность «парктроника» – 4 метра. Способ питания – любой источник питания на 5v до 2а, например, аккумулятор телефона, Power bank или обычная пальчиковая батарейка АА.

Приложение для компьютера – под ОС Windows; оптимизированное приложение на Android. Программа определяет изображение с веб-камеры компьютера или смартфона.

Выводы

Разработка специализированной одежды для слепых позволит облегчить ориентирование в пространстве людей с ОВЗ по зрению.

Перспективы использования результатов работы

Проведена апробация на базе IT-полигона Всероссийского общества слепых, и получены рекомендации Минпромторга о необходимости производства, разработки и включения в реестр средств реабилитации России.