Интернет-сервис для анализа информационной повестки

Актуальность

Сегодня на рынке уже представлены различные новостные агрегаторы, которые могут по заданной теме находить статьи, но большинство агрегаторов предоставляют статьи только из одного новостного ресурса, некоторые агрегаторы обладают малой функциональностью и, самое главное, ни один не даёт оценку тональности новостных статей.

Цель

Создать сервис для определения тональности новостей на основе нейронной сети.

Задачи

1. Поиск в интернете актуальных новостных статей самых популярных ресурсов (лента, медуза, РБК и т.д.) по поисковому запросу.
2. Возможность создания аккаунта пользователя для синхронизации нескольких устройств.
3. Сохранение истории поиска новостей, привязанной к аккаунту.
4. Создание закладок для наиболее интересных тем.
5. Отображение наиболее популярных новостей на данный момент.
6. Интуитивно понятный и привлекательный интерфейс приложения.
7. Оценка тональности новостной статьи при помощи заранее обученной нейронной сети в диапазоне: позитивная, нейтральная, негативная.

Оснащение и оборудование, использованное при создании работы

• Компьютер для поиска и анализа информации и создания web-приложения

Описание

В программе по поиску и получению в интернете актуальных новостей поиск осуществляется на основе API: GoogleNews api. Выбор данного Api аргументирован простотой использования, гибкостью настроек поиска и большой базой новостных статей. Данный API предоставляет следующую информацию о статье: заголовок, краткое описание и ссылку на источник. Но данный Api не предоставляет доступ к полному тексту статьи. Поэтому для получения полного текста статьи бала выбрана библиотека selenium, которая возвращает код страницы, предварительно осуществив её рендер через заранее скачанный веб-драйвер. В качестве веб-драйвера в системе используется ChromeDriver 89.0.4389.23. Этот метод является медленным, так как обработка каждой страницы занимает от 3 до 5 секунд, поэтому пользователю был предоставлен выбор: анализ только заголовка и краткого описания или анализ всего текста статьи. Для того чтобы система по определению тональности могла работать, автор решил создать и внедрить нейронную сеть в систему.

Для простоты составления модели нейронной сети были использованы библиотеки TensorFlow и TFLearn для языка программирования Python.

Для реализации функционала сервиса было создано веб-приложение. Оно представляет собой сайт, который позволяет производить поиск новостей в интернете, а также оценивать тональность найденных новостных статей на основе обученной ранее нейронной сети. Приложение было разработано на языке Python с использованием библиотеки Django и библиотеки Bootstrap для интерфейса, а также размещено и запущено на бесплатном хостинге PythonAnywhere. Для хранения личной информации пользователей (логин, пароль, имя, история запросов и сделанные закладки) была создана база данных SQLite.  

Для удобства использования сервиса на смартфонах дополнительно к веб-приложению было разработано клиент-серверное мобильное приложение.

Приложение разработано под операционную систему Android в среде разработки Android Studio на языке программирования Java.

В мобильном приложении был расширен функционал сайта, позволяющий:

• создавать аккаунты для синхронизации нескольких девайсов;
• сохранять историю поиска, привязанную к аккаунту;
• создавать закладки для часто интересуемых тем;
• отображать наиболее популярные новостные заголовки;
• делиться понравившимися новостями через социальные сети.

Результаты работы/выводы

Разработан сервис, который в большинстве случаев даёт корректную оценку тональности новостных статей. Данная система не имеет аналогов на рынке.

Перспективы использования результатов работы

Присутствует потенциал в развитии и применении. Сервис в большинстве случаев даёт корректную оценку тональности новостных статей.