Разработка датчиков и вибромоторчиков, встроенных в смоделированную под них одежду

Актуальность

По статистике ВОЗ (Всемирная организация здравоохранения), в мире проживают 36 миллионов человек, поверженных слепотой. По последним подсчётам, приблизительно 1,3 млрд человек в мире живут с той или иной формой нарушения зрения. В последнее время бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях, на базе которой реализуют применение «компьютерного зрения». Актуальность исследований в этом направлении подтверждается массовостью различных применений современных технологий, в том числе использующих нейросеть. Кроме того, как на отечественном, так и на зарубежном рынке ассистивных устройств отсутствуют современные средства и методики реабилитации для слепых и слабовидящих.

Цель

Создание ассистивного устройства для слепых и слабовидящих людей, позволяющего не только свободно ориентироваться в пространстве, но и удовлетворить потребности в социальной мобильности и независимости людей с ограниченными возможностями здоровья (ОВЗ).

Задачи

1. Изучение принципов создания одежды, работа с программой CLO.
2. Изучение технологий сборки устройств на базе микроконтроллеров Arduino.
3. Изучение технологии машинного обучения (TensorFlow).
4. Разработка стратегии создания прототипа.
5. Сборка ультразвукового датчика.
6. Применение нейронных сетей на практике.
7. Нахождение способа встраивания датчиков и проводов электроснабжения в одежду, не сковывающих передвижений и деятельности потребителя.
8. Определение материала для одежды, которая будет удобной при ежедневном ношении.
9. Закупка оборудования и расходных материалов.
10.  Создание интересного образа. Разработка дизайна одежды, которая будет не только максимально выполнять свои функции, помогая свободно ориентироваться в пространстве, но ещё и модно выглядеть.

Описание

Методы, применяемые в работе:

• Робототехника, в том числе пайка микроконтроллеров
• Программирование микроконтроллеров
• Реализация устройства
• Анализ, синтез и обобщение данной работы

Было спроектировано и нарисовано расположение компонентов и контактов на плате. Для этого авторы воспользовались программой EAGLE от Autodesk. Программный код был написан на языке c++ с ассемблерными вставками. Затем осуществлена прошивка микроконтроллера. Для вывода информации с датчиков была разработана тестовая плата и код под плату с вибромотором.

Информация со всех датчиков поступает в приложение на телефоне, где обрабатывается и выводит информацию доступным сигналом пользователя устройства.

В качестве программного обеспечения для визуализации использовали Fusion 360 от Autodesk и Cura. В Fusion 360 разработали 3D-модель, опираясь на имеющиеся особенности датчика. В Cura переводили модели в формат для 3D-принтеров. Имея базовые навыки работы с 3D-принтером, распечатали модель.

На следующем этапе для ребёнка 10 лет был разработан прототип одежды со встроенными кармашками для датчиков. Эффективная дальность «парктроника» – 4 метра. Способ питания – любой источник питания на 5v (вольт) до 2а (ампер), например, аккумулятор телефона, Power bank или обычная пальчиковая батарейка формата АА, её емкости хватит на 100 часов работы системы (всех датчиков, не учитывая потребление смартфона).

По мере изучения компьютерного зрения авторы выявили ряд причин, по которым было принято решение использовать технологию машинного обучения TensorFlow. TensorFlow – программная библиотека с открытым исходным кодом. Задачей являлось изучение руководств по использованию TensorFlow для обучения собственной нейросети обнаружения объектов. Для надёжного определения объектов подготовили большое количество изображений объекта, чтобы натренировать классификатор обнаружения. После фотосъёмки снизили качество фотографий, это позволило сэкономить время на тренировке классификатора. После нужно было пометить объект на каждом изображении. Для этого использовали программу LabelImg.

На финальном этапе осуществили обучение и тренировку модели.

Результаты работы/выводы

В результате было создано специализированное устройство для слепых и слабовидящих людей, позволяющее не только свободно ориентироваться в пространстве, но и удовлетворить потребности в социальной мобильности и независимости людей с ограниченными возможностями здоровья (ОВЗ).

Перспективы использования результатов работы

Проведена апробация на базе ИТ-полигона Всероссийского общества слепых. Получена рекомендация Минпромторга о необходимости производства и включения в реестр средств реабилитации России.