Проекты

Мобильное приложение голосовой помощник «ЧАЙКА»

Работа победителя открытой городской научно-практической конференции «Инженеры будущего» в секции «Информационные технологии, программирование, прикладная математика, социальный инжиниринг» среди работ учащихся 10−11 классов

Направление работы: Программирование
Авторы работы: ГБОУ Школа № 1234
Предметы: Информатика
Классы: 11 класс
Мероприятия: Открытая городская научно-практическая конференция «Инженеры будущего» 2020 года

Актуальность

Существует много приложений – голосовых помощников для мобильных устройств. Но все они в основном ориентированы на интернет-сервисы и используют возможности этих сервисов для обработки информации.

Автор поставил перед собой задачу создать приложение, управляющее мобильным устройством с помощью голоса и при этом использующее возможности именно самого устройства.

Цель

Цель работы – создание мобильного приложения на платформе Android, которое позволяет управлять мобильным устройством с помощью голоса, обеспечивает связь с близкими в экстремальных ситуациях, а также имеет функцию «Погодный советчик».

Задачи

  1. Разработать приложение на платформе Android с использованием возможностей среды разработки Android Studio.

  2. Применить для распознавания и синтеза голоса сервис Yandex SpeechKit.

  3. Реализовать компонент распознавания речи в виде службы для функционирования приложения в фоновом режиме.

  4. Использовать для доступа к приложениям телефона Android-механизма Intent (намерения).

  5. Реализовать управление разрешениями Android-приложений.

  6. Реализовать получение географических координат с помощью GPS.

  7. Адаптировать проект WeatherAssistant («Конференция будущего-2019») для работы с данным приложением (использование геоданных для получения прогноза погоды и озвучивания совета).

  8. Предусмотреть возможность сохранения индивидуальных настроек — ключевой фразы для активации помощника, назначение синонимов для запуска встроенных команд и приложений, выбор голоса помощника, телефонов экстренного вызова.

  9. На основе сохранённых настроек разработать логику голосового меню для реализации функциональности приложения.

Оснащение и оборудование, использованное при создании работы

  • Персональный компьютер для поиска и обработки информации

  • Среда разработки Android Studio (язык программирования Java).

  • Для распознавания и синтеза речи использовался сервис Yandex SpeechKit, для получения данных о погоде – API ЯндексПогода

Описание

Автором разработано мобильное приложение, которое управляет мобильным устройством с помощью голоса. Оно полезно в ситуации, когда нет возможности держать телефон в руках. Основная часть приложения была разработана в виде службы, которая выполняются автоматически в фоновом режиме и ожидает произнесения ключевой фразы. После произнесения ключевой фразы приложение переходит в режим ожидания команды-действия (запуск приложения, озвучивание даты, времени, заряда батареи и т. д.). Функция «Погодный советчик» включается при произнесении команды «Погода». Она позволяет быстро узнать погоду и получить рекомендацию о том, что сделать при выходе на улицу – взять зонтик, одеться теплее и т. д.

В «Режиме опасности» (активируется при произнесении тревожной фразы) отправляется СМС с географическими координатами, и совершается звонок по заранее настроенным номерам. Такая возможность может быть полезна детям и людям пожилого возраста.

Результаты работы/выводы

Автору удалось реализовать свой замысел – приложение, которое управляет устройством с помощью голоса. Оно будет полезно во время занятий спортом (или когда заняты руки). Функция «Режим опасности» может быть полезна детям и людям пожилого возраста. Функция «Погодный советчик» поможет быстро узнать погоду и учитывать погодные условия в своих планах на день.

Перспективы использования результатов работы

В дальнейшем автор планирует развивать и улучшать свой проект (добавить функции использования голоса для изменения настроек приложения, расширить список встроенных команд, улучшить дизайн приложения).

Приложение распространяется через Интернет с помощью ЯндексStore, и оно будет полезным всем, кто его использует.

Сотрудничество с вузом/учреждением при создании работы

Университет «Московский Энергетический Институт» (Институт информационных и вычислительных технологий)

Мнение автора

«Я очень рад, что мне удалось принять участие в конференции, и благодарен организаторам за возможность продемонстрировать работу своего мобильного приложения. Голосовой помощник «Чайка» является актуальной разработкой в связи с возможностью использования вне доступа к сети «Интернет»