АВТОМАТИЧЕСКАЯ И ПОЛУАВТОМАТИЧЕСКАЯ АННОТАЦИЯ КА-ЗАХСКИХ ТЕКСТОВЫХ КОРПУСОВ

2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.54309/ijict.2026.27.3.010
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Отсутствие крупных и качественно аннотированных корпу-сов по-прежнему препятствует развитию эффективных инструментов обработки естественного языка для казахского языка. В данной работе предлагается авто-матическая и полуавтоматическая структура аннотирования текстовых корпусов казахского языка, включающая предварительную обработку на основе правил, машинную разметку и ручную проверку. Предложенный конвейер включает эта-пы очистки текста, сегментации предложений, токенизации, морфологической предварительной аннотации и разрешения неоднозначных случаев в режиме ре-ального времени. Особое внимание уделяется трудностям, связанным с агглюти-нативной природой казахского языка, таким как большое количество аффиксов, гармония гласных и морфофонологические изменения. Цель предлагаемого под-хода - сократить время аннотирования при сохранении высокого качества данных и лингвистической согласованности. Полученный корпус может использоваться для таких задач, как разметка частей речи, определение значений слов и синтак-сический анализ предложений. Результаты показывают, что полуавтоматическая аннотация является эффективным и масштабируемым способом создания ресур-сов NLP для казахского языка.