Abstract
В работе сравниваются лексическая, моноязычная Transformer-модель и экспериментальная модель объединения вероятностных оценок на очищенных казахскоязычных заголовках и кратких описаниях Factcheck.kz. После удаления явных формулировок вердиктов и шаблонных фраз источника 1 265 записей были хронологически разделены на 885 обучающих, 190 валидационных и 190 тестовых. Операциональный положительный класс объединяет категории «ложь», «фейк», «манипуляция», «полуправда» и «непроверено» и поэтому не представляет собой однородный класс полностью вымышленных сообщений. Модель TF-IDF + Linear SVM достигла macro-F1 = 0,6563 при широком 95%-ном bootstrap-доверительном интервале [0,5834; 0,7253]. Transformer-модель показала среднее значение macro-F1 = 0,6585 (SD = 0,0442) по пяти random seeds. Экспериментальная модель score fusion получила 0,6422 (SD = 0,0180) и не выполнила заранее установленный критерий превосходства над обоими компонентными моделями по среднему значению test macro-F1. Парные bootstrap-интервалы различий между тремя подходами включали ноль, поэтому статистически подтвержденное превосходство какой-либо модели не установлено. В дополнительном анализе положительный класс был ограничен категориями «фейк» и «манипуляция». Переобученная SVM достигла macro-F1 = 0,7153 на 123 тестовых записях, тогда как исходная модель с широким набором меток на той же подвыборке показала 0,7488. Следовательно, преимущество переобучения на более узком наборе категорий не подтверждено. Оценка ограничена одним редакционным источником: хронологическое разделение и очистка текста сами по себе не подтверждают переносимость результатов на другие публикационные источники или исходные утверждения. Полученные результаты указывают на необходимость осторожной интерпретации результатов классификации на малых выборках. Использование модели в качестве инструмента предварительного отбора материалов требует независимой внешней валидации и экспертного контроля.