Средство улучшенного распределения контейнеризации в облаке In.Cloud

Актуальность

Осенью 2020 года нам впервые пришлось начать работу с docker-проектами. Их суть заключается в том, что для проекта создаётся некоторая искусственная среда, называемая контейнером – весь написанный код, все подсервисы запускаются на отдельной машине, которая взаимодействует с основным сервером, т. е. перенаправляет открытые порты и ограничивает программу в использовании ресурсов сервера, также доступно и много других функций для регулировки и контроля. Со временем количество нашей работы с контейнеризацией только возрастало, а так как проекты были для разных целей, запускались они также на разных серверах.

Две платформы, используемые сейчас, Portainer и Jenkins, не способны предоставить разработчикам интуитивно понятный интерфейс, а также не раскрывают полный потенциал docker-команд.

Здесь для нас начались проблемы с контролем всего запущенного, так как заходить каждый раз на все серверы, вручную перезагружать и обновлять сервисы или вылавливать ошибки было уже невозможно.

Возникла проблема отсутствия возможности удобно, быстро и мобильно контролировать запущенные проекты на серверах. Решение проблемы – создание средства единого контроля и управления проектами, запущенных путём контейнеризации docker с использованием платформы In.Cloud. Это группа сервисов для управления собственными серверами и возможностью загрузки и дальнейшего хранения на них файлов, а также запуска docker-контейнеров и их управления через платформу.

Цель

Организовать управление контейнерами типа docker и docker-compose на разных серверах.

Задачи

1. Изучить язык программирования Python и проанализировать существующие решения для работы с docker-проектами.
2. Организовать платформу In.Cloud для обеспечения безопасного хранения информации.
3. Изучить принципы работы API для обработки команд с главного сервера, куда, в свою очередь, сам пользователь отправляет запросы.
4. Разработать подсервис In.Cloud Collab для организации совместной работы над проектами.
5. Представить разработку пользовательского интерфейса к платформе.

Оснащение и оборудование, использованное при создании работы

• Персональный компьютер с установленным ПО (IDE pycharm, Python)
• Github.com
• Docker

Описание

Первый этап работы. Выбор языка программирования Python, знакомство с библиотекой subprocess, которая позволяет запускать контейнеры путём выполнения python-скрипта. Вывод: используем эту библиотеку, она будет отвечать за обращение с сервером и управление процессами, запущенными на серверах, отслеживать их «живучесть», а также собирать статистику об использовании ресурсов.

Серверная часть будет реализована через библиотеку, которая бы позволила удалённо работать с сервером. В течение года мы ежедневно действовали с фреймворком FastAPI и ORM Tortoise для работы с БД, так что сомнений не оставалось, и для создания API были использованы именно эти средства, а в качестве самой СУБД были выбраны SQLite3 и PostgreSQL.

Второй этап. Так как проект запланирован не только для личного пользования, но и для потенциального выхода «на публику», необходимо просчитать нагрузку на серверы самой платформы и сделать решение настолько стабильным и эффективным, насколько это возможно.

Путём размышлений, тестов, а также на основе собственного опыта, мы разделили всю платформу на четыре крупных подсервиса:

• In.Cloud Driver (отвечает за работу на каждом из серверов, зарегистрированных в платформе, – за управление контейнерами на машине, за сбор статистики и за безопасную передачу файлов между пользователем и сервером).
• In.Cloud Collab (отвечает за совместную работу над серверами и контейнерами и за образование «команд» в платформе).
• In.Cloud Control (отвечает за хранение и управление системной информацией, такой как данные пользователя, токены для доступа к аккаунту, список всех привязанных серверов к платформе, а также распределение команд пользователя по серверам).

Все эти подсервисы тесно связаны и вместе образуют качественную и удобную платформу.

В настоящий момент ведётся разработка главного пользовательского интерфейса, который бы предоставлял доступ к самой платформе In.Cloud. Для этого использован фреймворк Electron для разработки PC-приложения и фреймворк Flask для создания веб-приложения. Проблема заключается в освоении нового для меня языка JavaScript. Однако первый прототип приложения уже готов:

Результаты работы/выводы

На сегодняшний день по результатам проведённой работы в двух IT-стартапах активно используется созданная платформа, а также прорабатывается модель для выхода на более широкую аудиторию.

Перспективы использования результатов работы

В дальнейшем планируется воссоздать систему аренды ячеек на сервере In.Cloud Cell. Система будет напоминать VDS, однако такие ячейки гораздо выгоднее для пользователя, так как платить он будет не за весь сервер, а за ресурсы, которые использует. Если на весь проект ему надо 200 Мб оперативной памяти и 2 Гб постоянной памяти, ячейка даст ему именно столько, т. к. Docker-контейнер запускается на заготовленном сервере и не резервирует лишнее место.

Сотрудничество с вузом/учреждением при создании работы

Компания «HaClever» (тестирующая разработку компания)