Autism detection using facial and motor analysis using machine learning

2025

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.11591/eei.v14i5.10319
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper proposes a method for detecting autism spectrum disorders (ASD) through the analysis of facial and motor features using machine learning. The aim is to develop an algorithm for automatic ASD diagnosis based on spatiotemporal behavioral patterns. Traditional diagnostic methods rely on subjective expert observations, often delaying intervention. To address this, a hybrid convolutional neural network and long short-term memory (CNN+LSTM) model was employed. Convolutional layers extracted spatial features from video frames, while recurrent layers tracked temporal dynamics. Using MediaPipe face mesh, pose, and hands models, 1,639 parameters were obtained, including facial and pose coordinates, hand landmarks, mouth aspect ratio (MAR), and motion energy. The dataset comprised 100 children, aged 5–9 years (50 with ASD, 50 typically developing (TD)). Stratified cross-validation was applied to ensure subject-independent evaluation. Results showed 90% accuracy on the training set, 85–90% on validation, and an area under the curve (AUC) greater than 0.90, confirming model stability. Data visualization highlighted significant differences in motor activity and emotional expression between groups. The proposed approach demonstrates the potential for robust and objective ASD detection. It can be applied in clinical and educational contexts to improve early diagnosis and timely intervention.