Ультразвуковой метод ориентации в пространстве с применением компьютерного зрения для слепых и слабовидящих людей

Цель

Создание ассистивного устройства для слепых и слабовидящих людей, позволяющего не только свободно ориентироваться в пространстве, но и удовлетворять потребности в социальной мобильности и независимости людей с ограниченными возможностями здоровья (ОВЗ).

Задачи

1. Изучение принципов создания одежды, работа с программой CLO.
2. Изучение технологий сборки устройств на базе микроконтроллеров Arduino.  
3. Изучение технологии машинного обучения (TensorFlow).
4. Разработка стратегии создания прототипа.
5. Сборка ультразвукового датчика.
6. Применение нейронных сетей на практике.
7. Нахождение способа встраивания в одежду датчиков и проводов электроснабжения, не сковывающих передвижения и деятельности потребителя.
8. Определение материала для одежды, который будет удобным при ежедневном ношении.
9. Закупка оборудования и расходных материалов.
10. Создание интересного образа. Разработка дизайна одежды, который будет не только максимально выполнять свои функции, помогая свободно ориентироваться в пространстве, но и модно выглядеть.

Описание

По данным ВОЗ, в мире 39 миллионов слепых и 246 миллионов населения с плохим зрением. В последнее время в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях, на базе которой мы реализуем применение «компьютерного зрения». Актуальность исследований в этом направлении подтверждается массовостью различных применений нейросетевых алгоритмов. Кроме того, на рынке ассистивных устройств отсутствуют современные средства и методики реабилитации для слепых и слабовидящих.

Результат

1. Прототип одежды для ребёнка 10 лет со встроенными кармашками для датчиков.
2. Характеристики датчиков, встроенных в одежду: эффективная дальность максимально комфортная – 4 метра (зависит от погоды, влажности воздуха, давления); угол замера – 15 градусов; размеры кармашка под датчик − 20*45*20мм; вес зависит от комплектации; способ питания − любой источник питания на 5v (вольт) до 2а (ампер); стандарты разъёмов – по питанию micro usb, на выход mini jack; потребление тока − до 30ма/ч без учёта генерации выходного сигнала (наушники, виброгенератор и пр.); одной щелочной батарейки «АА» хватит почти на 100 часов работы.
3. Приложение для компьютера под ОС Windows; оптимизированное приложение на Android. Программа определяет изображение с веб-камеры компьютера или смартфона.

Оснащение и оборудование

• 3278-5 аудиоразъём (стерео) угловой 3,5 мм
• WBU-202, беспаечная макетная плата
• HC-SR04 ультразвуковой дальномер (сонар)
• STM32F103C8T6, отладочная плата (MapleMini)
• BBJ-65, соединительный кабель «папа-папа» − 65 шт.
• Соединительный кабель − 10 метров
• Модуль питания для макетной платы 5,0/3.3
• Энкодер 20x11x11 с кнопкой (шток-звёздочка)
• Блок питания 12VDC 2А, разъём 2,1 / 2,5 5,5 мм
• Конвертер USB-to-TTL(RS232), 3,3 /5V на базе CH340
• HCM1205P, пассивный эл. магнит, излучатель звука,
• 5В d=12мм, h=9.5мм

Перспективы использования результатов работы

Создание и внедрение на международный рынок ассистивного устройства для слепых, слабовидящих и слепоглухих людей, позволяющего свободно ориентироваться в пространстве.

Сотрудничество с вузом при создании работы

МГППУ