Multilingual QA-RAG: Evaluating LLMs' Contradiction Handling in English and Kazakh

2025

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/snpd65828.2025.11254178
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

This study investigates how large language models (LLMs) respond to factual contradictions under varying prompt styles in both English and Kazakh—a low-resource language. We evaluate the performance of DeepSeek-R1-Distill-Qwen-7B, and GPT-4o-mini on a dataset of 100 question– context pairs with deliberately introduced factual distortions using Retrieval-Augmented Generation (RAG) and Zero-shot approaches across strict, standard, and weak prompt types. Results show that DeepSeek outperforms in English language, particularly in zero-shot settings, as well as it exhibits higher variability and sensitivity to prompt strength. GPT-4o-mini demonstrates more accurate performance across Kazakh datasets. Qualitative analysis reveals distinct model behaviors, such as blind acceptance of falsehoods, expression of uncertainty, and ethical refusals. The findings highlight the challenges LLMs face in contradiction detection and emphasize the need for robust solutions to improve factual reliability.