Creating the dataset of keywords for detecting an extremist orientation in web-resources in the Kazakh language

Journal of Mathematics Mechanics and Computer Science, 2018

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.26577/jmmcs-2018-1-492
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper is part of the research on creating semantic analysis models in web resources for defining an extremist orientation in the text. To solve this task a model was created, which consists of five stages: identifying websites of an extremist groups, preparing for data extraction, data extraction, data analysis and classification. This work presents the results of data analysis stage of above mentioned model. The purpose of this study is to identify keywords, often used by extremists, which will later be used to classify texts to "extremist" and "neutral" categories using machine learning methods. There is no such database for the Kazakh language. As the result of this study an experimental corpus and list of keywords in Kazakh language was created. The keywords were added to the database with various morphological variants. The program was built that checks for the presence of extremist keywords in the given input text and displays the words found.