Создание 3D-модели сцены по фотографии

Актуальность

Область 3D-моделирования находится на стадии бурного развития. Использование 3D-сканеров в промышленном проектировании позволяет не только сократить время проектирования, но и снизить затраты. Среди множества способов 3D-сканирования самым доступным является оптическое сканирование, так как 3D-модель создается без применения специального оборудования на основе нескольких фотографий. Автор создал простое в использовании приложение, где в качестве основного алгоритма используется нейронная сеть, способная извлекать всю необходимую информацию из изображения для дальнейшего построения 3D-модели.

Цель

Разработать Telegram-бот, который будет обрабатывать выбранное пользователем изображение и в ответ отправлять 3D-модель, полученную на его основе.

Задачи

1. Разработать Telegram-бот.
2. Разработать архитектуру.
3. Обучить нейросети.
4. Разработать алгоритма «выдавливания» карты глубины в 3D-модель.

Оснащение и оборудование, использованное при создании работы

• Компьютер

Описание

В ходе первого этапа работы над проектом были изучены принцип действия Telegram-бота, возможности получения информации от пользователя и обработки присланных боту фотографий.

В работе для создания новых изображений применялась модель, основанная на DenseNet-169. По своей структуре она на вход принимает изображение, по которому генерирует новое.

Для обучения было рассмотрено два набора данных: Make3D dataset и NYU Depth Dataset V2[U1].

Оба они представляют из себя набор пар из фотографий и карт глубин. В Make3D dataset находится 534 пары с разрешением 55x305, а в NYU Depth Dataset V2 – 1449 пар изображений с разрешением 640x480. Обучение нейронной сети проводилось в Google Colab на удалённой видеокарте GeForce Tesla K80.

Последним функциональным шагом было написание функции по выдавливанию карты глубины в 3D-модель. В качестве формата 3D-модели выбран формат STL.

Завершающим этапом работы над проектом было объединение указанных функционалов в один Telegram-бот.

Результаты работы/выводы

• Разработан бот, который получает фотографию.
• Разработана нейросеть по созданию карты глубины.
• Разработана функция создания 3D-модели по карте глубины и отправки полученной модели обратно пользователю.

Перспективы использования результатов работы

В дальнейшем планируется обучить нейросеть на данных большего разрешения, а также изучить вопрос о создании 3D-карты комнаты по нескольким фотографиям и видео.

Сотрудничество с вузом/учреждением при создании работы

МГТУ им. Н.Э. Баумана

Награды/достижения (в каких конкурсах и с какими результатами выставлялась ранее эта работа)

Открытая городская научно-практическая конференция «Курчатовский проект – от знаний к практике, от практики к результату» – участник

Мнение автора

«Особенно понравилось работать над проектом в команде. Каждый выполнял свои обязанности и ответственно подходил к своей части проекта. Взаимодействие с научным руководителем в онлайн-формате позволяло решать вопросы, возникающие в ходе реализации проекта.Также понравился опыт защиты проекта в больших аудиториях перед компетентным жюри»