Development of a Translator for Kazakh Sign Language to Speech Using Gesture Recognition

2025

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/sist61657.2025.11139238
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

This paper presents the development of "DauysYm," an AI-powered translator that converts Kazakh Sign Language (KSL) into spoken language using dynamic gesture recognition. The project addresses communication barriers faced by people with hearing impairments in Kazakhstan. The main objective of this research is to develop an inclusive technological solution that enables real-time translation of KSL into speech to support the social integration of hearing-impaired individuals. The system integrates convolutional neural networks (CNNs), recurrent neural networks (RNNs), and attention mechanisms to analyze gesture sequences with high accuracy. Data was collected using OpenCV and MediaPipe, resulting in a structured dataset of dynamic gestures. A survey with 140 respondents confirmed the high societal need and user readiness for such a system. The results show promising training and validation performance, demonstrating the effectiveness of the proposed approach. "DauysYm" offers a scalable, inclusive solution that enhances communication and supports social integration, showcasing the potential of AI technologies in assistive applications tailored for the Kazakh context.