Advancing Machine-generated Text Detection: A Comprehensive Evaluation of Transformer-based Models

Journal of Advances in Information Technology, 2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.12720/jait.17.7.1321-1330
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Improved fluency in large language models has intensified the need for accurate detection of machine-generated text.This study evaluates transformer-based models using an improved version of the Conference on Computational Linguistics 2025 (COLING 2025), Generative Artificial Intelligence (GenAI) Content Detection Task 1 dataset, which was carefully preprocessed to enhance label quality and balance.All models were trained under a unified protocol to ensure fair comparison and robust evaluation.Test set results show that Decoding-Enhanced Bert with Disentangled Attention (DeBERTa) achieves the highest macro F1-Score of 85.48%, surpassing the previously top-ranked Multi-Task Learning (MTL) system, which attains a macro F1 of 83.07%.These results highlight the effectiveness of advanced transformer architectures for distinguishing human-written and machine-generated text.Despite these gains, performance degradation under domain shift and highly paraphrased inputs remains a challenge.