Machine Learning-Based Synonymous Word Detection in Kazakh

2024

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/ubmk63289.2024.10773560
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper considers the problem of synonymous word detection in Kazakh using machine learning methods. The problem of automatic synonym detection is key to natural language processing tasks such as machine translation, context search, and semantic text analysis. As part of the study, a model was developed that can effectively distinguish synonymous word pairs using a training set containing various synonymous and antonymous pairs of Kazakh words. Text data processing methods and modern machine learning algorithms, such as word classification and vectorization, were used to train the model. The obtained results demonstrate high accuracy and reliability of the proposed approach, which allows it to be used in various applications for processing the Kazakh language.