FROM NAMED ENTITY RECOGNITION TO RELATION EXTRACTION: LARGE LANGUAGE MODEL ASSISTED CONSTRUCTION OF THE KAZAKH RELATION EXTRACTION DATASET

2026

Толық мәтін Ашық қол жеткізу: Hybrid Метадеректер (CSL-JSON)
DOI 10.53364/24138614_2026_41_2_13
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Relation Extraction is a fundamental bridge between unstructured text and formal knowledge representations. Its development for the Kazakh language has been hindered by the scarcity of high-quality annotated semantic resources. While the KazNERD dataset established a robust baseline for entity identification, the transition toward modeling complex interactions between entities remains a critical challenge. This study addresses this bottleneck by introducing the Kazakh Relation Extraction Dataset (KRED), a high-fidelity benchmark constructed through a scalable pipeline that leverages the synergistic capabilities of Large Language Models (LLMs) and human expertise. The annotation workflow used the KazNERD corpus's verified entity boundaries as a structural base. It included candidate pair generation, zero-shot prompting using GPT-4o-mini, and iterative semantic refinement. Schema-driven normalization and targeted re annotation with Gemini-3-flash, followed by manual verification, ensured linguistic accuracy. The resulting KRED dataset contains 16,149 relation instances across ten semantic categories. Experiments using transformer architectures such as multilingual BERT, XLM-RoBERTa, and Kaz-RoBERTa show the dataset's effectiveness. Multilingual BERT performed best, achieving a micro-F1 score of 0.8832 and a macro-F1 score of 0.8113, which provides a solid baseline for future work. This hybrid approach, which uses LLMs, offers a cost-effective alternative to manual labeling. It provides a methodological framework for quickly expanding information extraction resources in low-resource and Turkic languages.