Development of a Translator for Kazakh Sign Language to Speech Using Gesture Recognition

2025

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/sist61657.2025.11139238
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper presents the development of "DauysYm," an AI-powered translator that converts Kazakh Sign Language (KSL) into spoken language using dynamic gesture recognition. The project addresses communication barriers faced by people with hearing impairments in Kazakhstan. The main objective of this research is to develop an inclusive technological solution that enables real-time translation of KSL into speech to support the social integration of hearing-impaired individuals. The system integrates convolutional neural networks (CNNs), recurrent neural networks (RNNs), and attention mechanisms to analyze gesture sequences with high accuracy. Data was collected using OpenCV and MediaPipe, resulting in a structured dataset of dynamic gestures. A survey with 140 respondents confirmed the high societal need and user readiness for such a system. The results show promising training and validation performance, demonstrating the effectiveness of the proposed approach. "DauysYm" offers a scalable, inclusive solution that enhances communication and supports social integration, showcasing the potential of AI technologies in assistive applications tailored for the Kazakh context.