Abstract
В данном исследовании разработан алгоритм для извлечения и мультимодального анализа информативных признаков из движений глаз и мимики для ранней диагностики РАС. Алгоритм основан на сочетании методов отслежива-ния движений глаз и компьютерного зрения для синхронного измерения поведен-ческих сигналов в ходе экспериментального протокола, включающего различные сценарии (F1-F6). Для создания мультимодального набора данных мы объединяем данные временных рядов и агрегируем признаки, описывающие визуальное внимание, взаимодействие взгляда с объектом и динамику мимики. Извлеченные призна-ки проецируются в пространство признаков и используются для решения задачи бинарной классификации с целью различения детей с РАС и типичным развити-ем. Наши эксперименты показывают, что сочетание мультимодальных признаков значительно повышает точность классификации. Модель логистической регрессии демонстрирует наилучшую точность классификации (ROC-AUC = 0,976, PR-AUC = 0,978), превосходя модель SVC с ядром RBF и модель случайного леса. Таким образом, мультимодальные поведенческие признаки формируют мощное представ-ление паттернов РАС. Предложенный алгоритм может быть использован в качестве основы для создания интеллектуальной системы диагностики расстройств РАС