Morpheme-Aware Interpolated N-gram Language Modeling for Low-Resource Speech Recognition

2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.28991/esj-2026-010-04-029
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper presents KazMorphLM, a morpheme-aware language model for Kazakh automatic speech recognition (ASR). Kazakh, a highly agglutinative Turkic language, poses a fundamental challenge for conventional word-level language models, since a single root can generate hundreds of inflected forms through productive suffixation, causing extreme data sparsity. Our objective is to overcome this sparsity by modelling language at the morpheme level. The method combines three components: (1) a rule-based morpheme segmenter built on a fully categorized inventory of 118 suffix entries (175 surface forms) across 12 morphological categories, with vowel-harmony validation and consonant-assimilation rules; (2) a two-level interpolated n-gram architecture coupling a 7-gram morpheme model with a 5-gram word model under Witten-Bell smoothing; and (3) a four-channel rescoring mechanism integrating acoustic, word-level, morpheme-level and vowel-harmony scores. Integrated into a hybrid FastConformer–MMS-1B pipeline, KazMorphLM attains 6.86% word error rate (WER) on the FLEURS test set under N-best rescoring, a 15.2% relative reduction over word-level KenLM rescoring (8.09%). On a live evaluation with 44 native speakers (421 recordings), KazMorphLM significantly outperforms word-level KenLM rescoring (6.01% vs. 7.45% WER; Wilcoxon p<0.001). To our knowledge this is the first morpheme-aware, vowel-harmony-informed language model for Kazakh ASR rescoring, with a methodology transferable to other Turkic languages.