Построение карты пространства на основе видео-стереопары

Актуальность

Основная тенденция современного общества последних десяти лет – переход большой части сферы услуг на digital-площадки. Данный процесс не обошел и промышленные предприятия, многомиллионные и частные IT-компании. Использование нейросетей можно наблюдать ежедневно как в рекомендациях книг, статей, новостей, так и банках, магазинах, службах организации дорожного движения.

С помощью карты пространства можно вычислить скорость и вектор движения тела, его размеры, объем, расстояние до него. Благодаря этому стало возможно автопилотирование различных видов транспорта. Карта пространства применяется в огромной сфере IT-технологий: начиная с простого робота-пылесоса и заканчивая алгоритмом корректировки траектории МКС.

Машина воссоздает карту пространства и может в ней ориентироваться, избегать столкновений или других нежелательных последствий. В этих целях создаются всё более быстрые и точные нейросети, способные принять решение за миллисекунду, новые, более функциональные фреймворки и новые алгоритмы обучения нейросетей. Благодаря всем этим вещам в совокупности, можно отдать рутинную работу человека машине.

Цель

Разработка алгоритма, способного с помощью стереокамер производить построение карты глубины пространства с использованием различных объектов окружающей среды, а также вычислять размеры этих объектов и расстояние до них.

Задачи

1. Изучить тему. Выбрать нейросеть и фреймворк с большим функционалом, скоростью работы и точностью.    
2. Запустить нейросеть. Научить нейросеть определять объекты на фотографии.
3. Вывести формулы расчета расстояния до объекта и его длины.
4. Написать программу для подсчёта характеристик объектов и построения карты пространства на основе данных предыдущих пунктов
5. Сделать возможным синхронную обработку видеопотока с камер в режиме реального времени и последующим выводом результатов на экран.

Оснащение и оборудование, использованное при создании работы

• Персональный компьютер с установленным ПО
• Wi-Fi роутер
• 2 LAN-кабеля
• 2 IP-камеры,
• Штатив

Описание

При помощи нейронной сети распознавались объекты на каждой из картинок стереопары. После чего написанная программа определяла один и тот же объект с точностью определения более 50 % на двух картинках стереопары.

Данный шаг был необходим для записи данных о координатах ограничительной рамки данного объекта. Далее происходил расчёт самого расстояния до объекта и его предполагаемой длины. Окончательным шагом была визуализация полученной информации с помощью картинки под названием «карта пространства ВИД СВЕРХУ».

Были использованы методы машинного обучения и компьютерного зрения, а также проделана работа с нейронной сетью.

Также авторы приложили графики относительной и абсолютной погрешностей, которые позволяли оценить точность всей программы.

Результаты работы/выводы

В результате работы был получен эффективный алгоритм обработки изображений, полученных со стереопары, и их дальнейшее преобразование в графический вид в режиме реального времени. Рассчитана точность и погрешность алгоритма.

Перспективы использования результатов работы

1. Увеличение числа физических характеристик для расчетов.
2. Дополнительная тренировка нейросети, фикс багов.
3. Внедрение алгоритма в более сложные структуры. Работа с автопилотированием ТС.

Сотрудничество с вузом/учреждением при создании работы

НИЯУ МИФИ

Награды/достижения (в каких конкурсах и с какими результатами выставлялась ранее эта работа)

21-я Международная научная конференция школьников «Сахаровские чтения» – специальный диплом за «успешное решение поставленной задачи в области машинного обучения».

Мнение авторов

«Считаем, что работа была выполнена достаточно качественно. Нами была освоена хорошая проектная практика. Конференция была проведена достойно и соответствовала всем ожиданиям»