Аннотация
Ымдау тілі есту қабілеті бұзылған және нашар еститін адамдар үшін маңызды қарым-қатынас құралы болып табылады. Технологиялық даму ым-ишараның көрнекі көріністеріне негізделген ым тілін мәтінге немесе сөйлеуге танитын, аударатын және өңдей алатын жүйелерді жасауға мүмкіндік берді. Бұл жұмыс нейрондық желі алгоритмі арқылы нақты уақыттағы ымдау тілін тану жүйесінің дамуын зерттейді. Зерттеудің мақсаты - веб-қосымшаларға біріктіру үшін оңтайландырылатын ымдау тілін тану және аудару жүйесін әзірлеу. Mediapipe кітапханасы пайдаланушының қолдары мен саусақтарының негізгі нүктелері мен бағдарын анықтау үшін пайдаланылды. Содан кейін бағдарламалық жасақтама модулі жиналған деректерді ұзақ қысқа мерзімді жады (LSTM) қабаттарын қамтитын сериялық нейрондық желіге береді. Нейрондық желінің осы түрін құру үшін ашық Keras кітапханасы пайдаланылды. Ұсынылған нейрондық желі моделінің ерекшелігі нейрондық желінің конволюционды және қайталанатын қабаттарының үйлесуі және өзара әрекеттесуі болып табылады. Қарастырылған қабаттар жинағы деректердің уақыт бойынша тәуелділігін бақылау мүмкіндігін қамтамасыз етеді, бұл әртүрлі типтегі қабаттар арасында ауысу және нейрондар санын азайту арқылы қол жеткізіледі. LSTM нейрондық желісі американдық ымдау тілінің қимылдарына негізделген реттелетін деректер жиынтығы арқылы оқытылады. Деректер жинағы ым-ишара жазбалары негізінде қалыптасты. Әрбір қимыл көрінісі 3D бағдар нүктелерін алу үшін алдын ала өңделген. Бұл жиналған негізгі нүктелер LSTM нейрондық желі қабаттарына жіберіліп, модельге қол қозғалысы мен сәйкес қимылдар арасындағы күрделі қарым-қатынастарды үйренуге мүмкіндік берді. Әрбір қимыл үлгісі 24 кадр тізбегі арқылы ұсынылған. Нейрондық желі алгоритмінің өнімділігі үлгі дәлдігін қоса алғанда, әртүрлі метрика көмегімен бағаланады. Эксперименттік нәтижелер әзірленген бағдарламалық қамтамасыз ету ымдау тілі қимылдарын тануда жоғары дәлдік деңгейіне қол жеткізе алатынын көрсетті. Бұл зерттеудің өзектілігі оны кең ауқымда қолдану мүмкіндігімен расталады. Атап айтқанда, бағдарламалық қамтамасыз ету мүмкіндігі шектеулі адамдар мен жалпы жұртшылық арасындағы қарым-қатынас үшін қызмет немесе құрал ретінде және есту қабілеті бұзылған адамдарға көмектесетін технология ретінде пайдалану мүмкіндігіне ие. Зерттеу авторлары жүргізілген жұмыстардың нәтижелері ымдау тілін тану үшін нейрондық желі алгоритмін жасау кезінде LSTM қабаттарын қоса алғанда, нейрондық желі алгоритмін пайдалану мүмкіндігі мен тиімділігін көрсететінін атап өтті