A Dated Corpus and a Seven-Layer Benchmark for Kazakhstani Legal Question Answering

Information, 2026

Толық мәтін Ашық қол жеткізу: Gold Метадеректер (CSL-JSON)
DOI 10.3390/info17101042
Деректер сенімділігі 85 жоғары
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Legal question answering is usually evaluated as if the law were static. In Kazakhstan, it changed twice within one year: a new Constitution replaced the 1995 text on 1 July 2026, and a new Tax Code replaced its predecessor on 1 January 2026, both reusing article numbers for different norms. We release a dated corpus of 41 Kazakhstani acts parsed to article level in both official languages (12,235 Russian and 11,973 Kazakh articles) and a benchmark of 150 question-answer pairs in seven layers, two of which score declining to answer and asking for a date. Two practising lawyers confirmed every pair. Comparing a no-retrieval baseline, retrieval-augmented generation and a tool-using agent, we find that retrieval rather than generation accounts for most citation error, measured against each pair’s source articles: given the gold article, the model cites it in 92% of cases, and retrieval alone reduces citations of non-existent norms from 31% to zero. The agent adds nothing on this measure and abstains far less often. Dense retrieval improves citation recall but nearly doubles the repealed norms presented as current; date-aware ranking removes them for every retriever, although under dense retrieval it also removes three historically required citations. The retrieval findings are reproduced on two open models.