Deploying Multilingual ASR in Digital Twin Systems: A Performance and Efficiency Analysis of Whisper and SeamlessM4T

2025

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/acdsa65407.2025.11166030
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

This study presents a systematic comparison of two leading automatic speech recognition (ASR) model families—OpenAI's Whisper and Meta's SeamlessM4T—across three typologically diverse languages: English (Germanic), Russian (Slavic), and Kazakh (Turkic). Motivated by the need to identify optimal ASR solutions for multilingual collaborative environments in digital twin development, we evaluate these models using standardized benchmarks including LibriSpeech and Common Voice datasets. Our analysis employs Word Error Rate (WER), Character Error Rate (CER), and GPU memory utilization as primary metrics. Results demonstrate that Whisper large-v3 achieves the best performance for English and Russian with WERs of 3.29% and 9.83% respectively, while SeamlessM4T-v2-large offers superior performance for Kazakh with a WER of 13.7%. GPU memory requirements range from 144.4MB to 6025.7MB, scaling with model size. These findings provide valuable guidance for selecting appropriate ASR models for multilingual applications in collaborative environments where accurate voice transcription is essential for human-machine interfaces in digital twin systems.