Development of A Model of Kazakh Sign Language Recognition Based on Deep Learning Method

2024

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/ubmk63289.2024.10773578
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

The purpose of this study is to analyse the effectiveness of deep neural networks for the task of recognition of Kazakh sign language. The study aims to use convolutional neural networks (CNNs) to process and classify images with gestures representing 42 letters of the Kazakh sign language. The developed model can recognise hand gestures in real time using a camera. Since the full-featured hand gesture recognition system in the field of artificial intelligence is still in the active development and research stage, the developed model is a key step in this direction. The results showed poor performance of the model in the current configuration, with low accuracy and completeness values for most classes, which may indicate that the dataset is unbalanced and the chosen model architecture is suboptimal. The study highlights the importance of further investigating methods for balancing classes and adapting the model architecture to improve its accuracy and reliability. In this study, a significant step was taken in the field of data collection and training for the recognition of gesture-based Kazakh language. Data augmentation using augmentation was performed.