A Kazakh language Dataset of Lip Movements for Command Recognition

2025

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.1038/s41597-025-06193-0
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Lip reading systems determine the content of speech based on the visual tracking of lips of the speaker and therefore serve to offer communicative substitutes when acoustic information is not available in the environment. The training of strong lip reading models requires acquisition of specialised corpora that not only characterise the linguistic variability but also visual articulatory variability. In the given work, we introduce a new visual corpus which is specific to Kazakh lip reading. The corpus contains a collection of 102 nouns taking place most commonly in the Kazakh language with specific articulatory patterns and are recorded in 26 participants with a wide age range. The resultant series takes up about 34,000 short video clips, which resulted in about 1,2 million single frames. The resulting database is widely annotated, and thus would represent a very useful resource in improving the Kazakh lip reading technologies. It will promise great prospect for further researches in this area and the various researches that can be done in multi modal speech recognition.