A Dated Corpus and a Seven-Layer Benchmark for Kazakhstani Legal Question Answering

Information, 2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.3390/info17101042
Достоверность данных 85 высокая
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Legal question answering is usually evaluated as if the law were static. In Kazakhstan, it changed twice within one year: a new Constitution replaced the 1995 text on 1 July 2026, and a new Tax Code replaced its predecessor on 1 January 2026, both reusing article numbers for different norms. We release a dated corpus of 41 Kazakhstani acts parsed to article level in both official languages (12,235 Russian and 11,973 Kazakh articles) and a benchmark of 150 question-answer pairs in seven layers, two of which score declining to answer and asking for a date. Two practising lawyers confirmed every pair. Comparing a no-retrieval baseline, retrieval-augmented generation and a tool-using agent, we find that retrieval rather than generation accounts for most citation error, measured against each pair’s source articles: given the gold article, the model cites it in 92% of cases, and retrieval alone reduces citations of non-existent norms from 31% to zero. The agent adds nothing on this measure and abstains far less often. Dense retrieval improves citation recall but nearly doubles the repealed norms presented as current; date-aware ranking removes them for every retriever, although under dense retrieval it also removes three historically required citations. The retrieval findings are reproduced on two open models.