Multi-Class Detection of Humanized AI Text Using Machine Learning and Transformer Models

2025

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/iccike67021.2025.11318272
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

The rise of advanced large language models (LLMs) has enabled the generation of human-like text, challenging the detection of AI-generated and humanized AI content. This study evaluates Logistic Regression, Bidirectional LSTM, and DeBERTa for multi-class detection of human-written, AI-generated, and humanized AI text. We introduce a novel dataset of 30,000 texts, including 10,000 humanized samples created via a LangChain-based pipeline with GPT-4o, verified to reduce AI detectability using ZeroGPT. Experimental results show DeBERTa achieves 96.93% accuracy, outperforming Logistic Regression (93.43%) and LSTM (93.77%) in distinguishing text classes. Our approach leverages stylometric features and deep contextual embeddings to address real-world challenges like stylistic overlap and adversarial paraphrasing. Key contributions include the dataset, a comparative model evaluation, and insights into detecting humanized AI text, with implications for content moderation, academic integrity, and misinformation prevention.