Improving Kazakh Text Complexity Detection with Pre-Trained Language Models

2025

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/opcs67346.2025.11219383
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Sentence complexity detection plays a crucial role in applications such as readability assessment and text simplification, yet remains under-explored for Kazakh. This paper addresses this task for the Kazakh by systematically comparing three approaches: 1) classical machine learning with hand-crafted linguistic features, 2) embedding-based classifiers, and 3) finetuning of a multilingual large language model (LLM). On a balanced parallel dataset of complex-simple literary sentence pairs, feature-based methods using five features achieved up to$69.69 \% ~\mathrm{F} 1$(SVM), while incorporating all features raised F1 to$\mathbf{7 7. 7 4 \%}$(Logistic Regression). Without any hand-crafted feature, the embedding-based classifier reached$\mathbf{7 3. 8 5 \%} \mathbf{F 1}$. By contrast, updating the full LLM produced 87.38 % accuracy and an 87.02 % macro F1-score, markedly outperforming both classical and embedding-based baselines; freezing its backbone yielded only$\mathbf{5 4. 3 5 \%}$accuracy. To analyze the complexity of authentic Kazakh texts, we applied each model to large, unlabelled corpora of children's stories, news articles and books. The fine-tuned LLM predicted 89.1 % simple sentences in children's stories, 83.7 % in news and 75.5 % in books, and correspondingly higher complexsentence rates in books (24.5 %).