OPTIMIZING SYNTACTIC-SEMANTIC RELATION EXTRACTION FOR THE KAZAKH LANGUAGE WITH TRANSFORMER ARCHITECTURES AND SYNTHETIC CORPORA

Herald of Kazakh-British technical university, 2026

Толық мәтін Ашық қол жеткізу: Gold Метадеректер (CSL-JSON)
DOI 10.55452/1998-6688-2026-23-2-250-261
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Natural language processing (NLP) methods are widely used in search engines, decision-support systems, and many other intelligent applications. One of the essential yet technically demanding tasks in this area is the extraction of triple relations in the form “subject–predicate–object.” Such structures are the basis for knowledge graphs and reasoning, but for languages with limited annotated resources, like Kazakh, this task becomes especially difficult. In our work, we investigate how the use of synthetic data can partially compensate for the lack of linguistic resources. The experimental setup included the generation of additional training data, followed by the training and testing of a model based on the Cross-lingual Language Model – Robustly Optimized BERT Approach (XLMRoBERTa) for triple extraction. XLM-RoBERTa, an improved version of the Bidirectional Encoder Representations from Transformers (BERT) model, benefits from a larger training corpus and increased size. This architecture is effective in cross-linguistic transfer tasks without additional fine-tuning, even between languages with different writing systems. The results show an F1-score of 90.73%. This indicates that even relatively simple augmentation strategies, when combined with advanced models, may considerably improve model performance when working with low-resource languages. The study also suggests that the approach can be extended to other underrepresented languages and integrated into practical systems for information retrieval and knowledge management.