Основная мысль текста

Актуальность

Уже сейчас сложно представить нашу жизнь без таких гигантов IT, как Google, Amazon, Facebook, Microsoft и т. д. Все эти компании используют алгоритмы машинного обучения для создания новых программ и достижения каких-либо целей. Однако какой-нибудь маленький новостной портал не пользуется всеми благами искусственного интеллекта, и журналистам, заходящим на этот сайт, сложно выбирать новости для своих статей, ориентируясь только по заголовкам и тексту, соответственно, сайт становится им неинтересен, и создатель теряет весомую часть своих клиентов. В связи с этим возникла необходимость создать программу, которая будет предсказывать топик (логический субъект предложения, о котором высказывается его смысл) новости по его тексту.

Цель

Обучить программу правильно предсказывать топик новости.

Задачи

1. Векторизовать данные, оценить важность слов каждого текста.

2. Классифицировать данные.

3. Оценить качество полученной модели.

Оснащение и оборудование, использованное при создании работы

• Язык программирования Phyton

Описание

Автор загрузил данные в программу, указал, какие данные нужно найти и какие данные будут использоваться. Также автор указал количество данных, на которых программа будет обучаться, и количество данных, на которых программа будет тестироваться. С помощью tf-idf была оценена важность слов в контексте новостей и векторизованы данные. Полученные данные были классифицированы с помощью Logistic Regression.

Результаты работы/выводы

Создана программа, которая позволяет осуществлять обработку текста и выводить его главную мысль. В будущем эта программа может быть размещена на новостных сайтах, что намного облегчит задачу поиска информации посетителям сайта.

Перспективы использования результатов работы

В дальнейшем программа будет доработана так, чтобы она смогла сжимать текст до заголовка, тем самым можно будет избавиться от зачастую заманчивых и не совсем честных заголовков, которые пишут авторы новостей.