Lexicon-based approach in generalization evaluation in Russian language media

Sovremennye informacionnye tehnologii i IT-obrazovanie., 2018

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.25559/sitito.14.201803.567-572
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

We consider generalization as a property of human thinking to make general conclusion based on authors’ own experience and observations and one of the techniques of authors use to manipulate the readership and present an algorithm for evaluation of the generalization in texts. The algorithm is based on the lexicon-based approach. To search the generalization we use ready-made dictionary (KEY-dictionary) and RuSentiLex dictionary. KEY-dictionary contains words and phrases (elements) that express the generalization. In RuSentiLex we take the words and phrases that express opinion and fact. The algorithm searches exact matches the elements from text with the elements from the dictionaries, it is also important that the elements from different dictionaries have their weights. New method is developed for automatic detection of generalization in texts from official media. Numerical calculations of generalization were performed using a special software application. To test the proposed approach the expert estimation were used. Статья представляет обобщение как свойство человеческого мышления делать общий вывод на основе собственного опыта и наблюдений авторов, также рассматривается один из приемов, используемых авторами для манипулирования читательской аудиторией, и представлен алгоритм оценки обобщения в текстах. Алгоритм основан на лексиконном подходе. Для поиска обобщения используется готовый словарь (KEY-dictionary)и словарь RuSentiLex. KEY -словарь содержит слова и словосочетания (элементы), выражающие обобщение. В RuSentiLex мы берем слова и фразы, которые выражают мнение и факт. Алгоритм поиска точно сопоставляет элементы из текста с элементами из словарей, также важно, чтобы элементы из разных словарей имели свои веса. Разработан новый метод автоматического обнаружения обобщения в текстах официальных СМИ. Численные расчеты обобщения выполнены с использованием специального программного приложения. Для проверки предложенного подхода использовалась экспертная оценка.