DEVELOPMENT OF THE RETRIEVAL-AUGMENTED GENERATION (RAG) SYSTEM FOR THE KAZAKH LANGUAGE USING HYBRID INFORMATION METHODS

2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.26577/jpcsit4120265
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Abstract. This study presents the development and experimental evaluation of the Retrieval-Augmented Generation (RAG) system for the Kazakh language with an emphasis on comparative analysis of information retrieval methods. The main purpose of the work was to test the hypothesis of the superiority of a hybrid approach combining statistical (BM25) and semantic (vector search) methods over individual approaches. Based on the corpus of legal documents of the Republic of Kazakhstan, 270 experiments were conducted using three data extraction methods combined with six modern large language models (LLM). The results demonstrate that the hybrid method achieves the highest accuracy (82.2%), statistically significantly surpassing vector search by 3.3% (p < 0.01) and BM25 by 5.5% (p < 0.001). All three methods showed accuracy above 75%, which confirms the high efficiency of RAG systems for the Kazakh language. The analysis also revealed that hybrid search provides the greatest stability of results when working with different language models. This study makes a significant contribution to the development of RAG systems for languages with limited resources, offering an empirically based methodology to improve the accuracy and reliability of response generation.