Machine learning methods for identifying destructive texts in the Kazakh language

Milana Bolatbek, Moldir Sagynay, Shynar Mussiraliyeva, Zhastay Yeltay

2024

Достоверность данных 85 высокая

Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

In the digital age, society is faced with an increasing number of destructive messages on the Internet, including insults, racism, violent extremism and national extremism. This paper presents a machine learning-based approach to classify destructive texts in the Kazakh language, collected from social networks. During the study a text corpora has been accumulated on social networks: YouTube, Vkontakte, Telegram. The study uses advanced text vectorization methods, including Bag of Words, TF-IDF, and Word2Vec, to preprocess text data. Our findings demonstrate that Logistic Regression outperforms other models, achieving an accuracy of 86%. These results contribute to the development of automated systems for identifying destructive content, promoting safer online communication."