Разработка алгоритма распознавания жестов, применимого для систем компьютерного зрения и smart-перчатки

Актуальность

Несмотря на то, что наш мир стремительно развивается, глухонемые люди всё равно имеют проблемы с социализацией и не обладают полным спектром возможностей, которые могут предоставить современные технологии. Главная проблема, которая волнует глухих многие годы, – проблема сурдоперевода.

Среди преимуществ использования данной разработки – возможность обеспечить коммуникацию с людьми с ограниченными возможностями без использования камеры (например, для дистанционного обучения).

Цель

Разработать программное обеспечение, позволяющее переводить язык жестов в текст.

Задачи

1. Исследование предметной области.
2. Разработка методов считывания информации.
3. Разработка алгоритма и написание по нему программы.
4. Разработка тестового макета для проверки эффективности данного программного обеспечения.

Оснащение и оборудование, использованное при создании работы

• Компьютер

Описание

В рамках эксперимента проводились подготовка данных и обучение сети согласно инструкциям.

Одним из важных этапов работы стала разработка первичного макета для определения эффективности выбранного авторами метода.

После этого обученная сеть успешно распознавала позы, а затем альтернативную версию сети – жесты.

Основной целью эксперимента являлось доказательство эффективности выбранного подхода к распознаванию жестов, особенно в связи с невозможностью реализовать дальнейшую разработку без значительных затрат на необходимое оборудование, также был произведён показ proof-of-concept программы, использующей выбранный метод в условиях, близких к реальным.

Результаты работы/выводы

1. Разработано ПО, способное обучать сети для распознавания жестов.
2. Создана система, позволяющая получать данные с камеры устройства и видеофайлов.
3. Определены дальнейшие пути развития проекта.

Перспективы использования результатов работы

В связи с избранным подходом продукт может быть интегрирован с любым набором датчиков, предоставляющих информацию о 15 фалангах пальцев и запястье, а также работать с потоковым изображением с камеры или видеофайлами, что поможет облегчить процесс сурдоперевода или мониторинга движений человека.

Мнение автора

«Была проведена объёмная работа по изучению и проектированию необходимых сетей и созданию материалов, а благодаря отзывам экспертов наш проект станет основой дальнейших разработок»