Применение компьютерного зрения совместно с ультразвуковым методом ориентации в пространстве для слепых и слабовидящих людей

Цель

Создать ассистивное устройство для слепых и слабовидящих людей, позволяющее свободно ориентироваться в пространстве и удовлетворять потребности в социальной мобильности и независимости людей с ограниченными возможностями здоровья (ОВЗ).

1. Изучить принципы создания одежды, работа с программой CLO.

2. Изучить технологии сборки устройств на базе микроконтроллеров Arduino.  

3. Изучить технологии машинного обучения (TensorFlow).

4. Разработать стратегии создания прототипа.

5. Собрать ультразвуковой датчик.

6. Применить нейронную сеть на практике.

7. Разработать дизайн одежды, который будет максимально выполнять свои функции, помогая свободно ориентироваться в пространстве, но и модно выглядеть.

Описание

Ассистивные устройства – специальные приспособления для людей с ограниченными возможностями, позволяющие жить более самостоятельной и социальной жизнью. К данной категории относятся протезы, слуховые аппараты, устройства для улучшения слуха и зрения, инвалидные коляски и другие средства передвижения. Большинство устройств полностью компьютеризировано, что гарантирует их слаженную и бесперебойную работу.

По данным ВОЗ, в мире 39 миллионов слепых и 246 миллионов людей с плохим зрением. В настоящее время в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях, на базе которой реализуется применение «компьютерного зрения». Актуальность исследований в этом направлении подтверждается массовостью различных применений нейросетевых алгоритмов. Кроме того, на рынке ассистивных устройств отсутствуют современные средства и методики реабилитации для слепых и слабовидящих.

Результат

В ходе работы были получены следующие результаты.

1. Разработан прототип одежды для ребёнка 10 лет со встроенными кармашками для датчиков.
2. Датчики, встроенные в одежду имеют определённые характеристики: эффективная дальность максимально комфортная – 4 метра (зависит от погоды, влажности воздуха, давления); угол замера – 15 градусов; размеры кармашка под датчик − 20*45*20мм; способ питания − любой источник питания на 5v (вольт) до 2а (ампер); стандарты разъёмов – по питанию micro usb, на выход mini jack; потребление тока − до 30ма/ч без учёта генерации выходного сигнала (наушники, виброгенератор и пр.); одной щелочной батарейки «АА» хватит почти на 100 часов работы.
3. Разработано приложение для компьютера под ОС Windows; оптимизированное приложение на Android. Программа определяет изображение с веб-камеры компьютера или смартфона.

Оснащение и оборудование

• 3278-5 аудиоразъём (стерео) угловой 3,5 мм
• WBU-202, беспаечная макетная плата
• HC-SR04 ультразвуковой дальномер (сонар)
• STM32F103C8T6, отладочная плата (MapleMini)
• BBJ-65, соединительный кабель
• Соединительный кабель
• Модуль питания для макетной платы 5,0/3.3
• Энкодер 20x11x11 с кнопкой (шток-звёздочка)
• Блок питания 12VDC 2А, разъём 2,1 / 2,5 5,5 мм
• Конвертер USB-to-TTL(RS232), 3,3 /5V на базе CH340
• Пассивный эл. магнит
• Излучатель звука

Перспективы использования результатов работы

Создание и внедрение на международный рынок ассистивного устройства для слепых, слабовидящих и слепоглухих людей, позволяющего свободно ориентироваться в пространстве.

Сотрудничество с вузом при создании работы

ФГБОУ ВО МГППУ