Система обработки видеопотока и данных положения в пространстве «ARGUS»

Актуальность

Система обработки видеопотока и данных положения в пространстве «ARGUS» разработана в интересах МЧС для организации поисково-спасательных работ на водной поверхности.

Благодаря своей универсальности может применяться для поиска любых объектов по заранее заданным параметрам и может быть установлена на любой носитель.

Цель

Организация обработки видеопотока и данных положения носителя бортовой аппаратной части системы в пространстве на наземном оборудовании с использованием самообучающейся нейронной сети

Оснащение и оборудование, использованное при создании работы

•   Arduino Nano 3.0

•   Logitech C270

•   GPS модуль

•   IMU-9 сенсор

•   Датчик давления

•   Raspberry PI-4

•   Корпус

•   Компьютеры с ОС LINUX

•   Arduino IDE

•   Python

•   OpenCV

Описание

Для осуществления проекта автор использовал в качестве бортового компьютера плату Raspberry PI4. При её малых размерах она имеет характеристики, сравнимые с характеристиками среднего ноутбука: четырёхъядерный процессор, 4 ГБ ОЗУ. В качестве вспомогательных контроллеров автор использовал Arduino nano – достаточно известные контроллеры. Они справляются со своей задачей при относительно небольших размерах. Платы Arduino и RPI связаны между собой интерфейсом USB, RPI и обрабатывающий компьютер первоначально связаны локальной сетью, далее было установлено беспроводное соединение.

В качестве операционной системы автор выбрал Linux, нетребовательную к характеристикам систему с обширными возможностями в настройке. После соответствующей настройки система стала очень удобной для разработки: позволила настраивать автору параметры соединений и предоставила полный доступ к ресурсам для наших программ.

В качестве контролируемых параметров были выбраны высота, направление, скорость полета, а также положение в географических координатах. Они позволили автору узнавать крен, тангаж и курс прототипа носителя. Чтобы узнать высоту, автор использовал датчик давления, а для посадки – более точный лазерный дальномер. Аналогично лазерный дальномер используется для определения расстояния до объекта. Также установлен GPS трекер, который позволяет узнать координаты прототипа носителя.

Передача данных между вспомогательными контроллерами и бортовым компьютером осуществляется через COM порт. Затем данные передаются от бортового ПК на обрабатывающий ПК методом socket (метод соединения клиента с сервером).

Logitech C270 имеет разрешение 720p – достаточное для распознавания объектов. К сожалению, использовать это разрешение не удалось – в движении картинка сильно смазывалась, делая полет невозможным. Поэтому вместо разрешения 1280*720 автор использовал 640*480 – оно оказалась самым оптимальным.

На этапе разработки передачи видео автор столкнулся со следующей проблемой: в локальной сети видеопоток передавался без проблем, в глобальной же сети долго не удавалось настроить передачу. Для локальной сети использовалась утилита Motion, для приёма и обработки данных автор использовал OpenCv в Python. Для использования глобальной сети понадобилось приобрести статический IP-адрес, утилита Motion была заменена на собственную программу передачи видео, которая встроилась в основную программу обработки.

Результаты работы/выводы

В процессе выполнения работы нами был получен действующий прототип системы распознавания, работающий в локальной сети из двух компьютеров. Возможность использовать беспроводную сеть сделает проект мобильным. Система способна получать данные о положении в пространстве и с определённой вероятностью производит успешное распознавание лиц. Создан достаточно удобный для работы графический интерфейс. Создана платформа для размещения проекта, проведены успешные тесты проекта. Разработан план дальнейшей работы по совершенствованию проекта и расширению его функциональных возможностей.

Перспективы использования результатов работы

М2 – будущая модификация проекта. Оптимизация работы и разработка обратной связи позволят расширить возможности программы:

• создание приложения, удобного для использования;
• подключение базы данных с различными классификаторами (поиск не только лиц, но и, например, марок машин);
• установка беспроводной связи между устройствами;
• возможность управления носителем с помощью ПК пользователя.

Мнение автора

«Наш проект может применяться в широком диапазоне – от поисковых задач до охранных функций. Система, созданная с использованием локальной сети, может быть переведена на глобальную сеть. Вероятность распознавания лиц зависит от разрешения камеры: чем выше разрешение, тем больше точность; таким образом, программа работает успешно, а погрешность распознавания – аппаратная проблема. Аналогичная ситуация с погрешностью в точности датчиков телеметрии, которая зависит от качества датчика. В итоге мы достигли своей цели: создан действующий прототип системы распознавания объектов и бортовой телеметрии с использованием самообучающейся нейронной сети»