Development of Hybrid LLM-ASR Methodology for Improving Process of Kazakh Language Learning

2026

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/icecco67619.2026.11488744
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

This paper suggests a structure that can guide the enhancement of the Kazakh language learning process by using the large language models (LLMs) and automatic speech recognition (ASR). To fill the gap of highquality speech materials on the Kazakh language, a custom dataset consisting of$\mathbf{3, 4 8 2}$anonymized audio-text pairs was collected among native speakers of the language in different locations and in different recording conditions. This dataset has a vast variety of accents, speaking styles, and conditions, and thus, it is an excellent starting point when it comes to model training. It reduced the Word Error Rate (WER) according to epochs of Whisper-small of OpenAI (from 87% to 32.7) by fine tuning on this corpus. This demonstrates the effectiveness of transfer learning in language environments with low resources. The system was tested in a classroom with 180 students, in terms of its effectiveness in learning. In a survey taken after the deployment, 87 % of the learners believed that their pronunciation skills had improved and 91 % believed that they were now more motivated to do exercises with AI assistance. These findings suggest that the proposed system can enhance the process of training pronunciation, motivation to learn, and individualized training. The study also examines the ways of utilizing the mobile devices in the way they can provide adaptive real time feedback. Code-switching, data not being sufficiently available, and devices having performance constraints are some of the issues that remain an unresolved problem. The data augmentation, model compression, and grammar correction with the help of LLM will be investigated by us in the future to simplify and improve the learning process. The study indicates that language learning can significantly enhance the efficiency and expansiveness of fine-tuning custom ASR using LLM evaluation in languages that lack assets.