COMPARATIVE ANALYSIS OF AI-GENERATED TEXT DETECTION MODELS IN STUDENT TEXTUAL ASSIGNMENTS

2025

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.53364/24138614_2025_39_4_13
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Modern transformer models have significantly expanded the capabilities of automated text generation, posing new challenges for maintaining academic integrity in higher education. Traditional plagiarism detection systems often fail to distinguish between student written work and AI-generated materials, underscoring the need for robust automatic detectors. Accordingly, this article presents a comparative analysis of three approaches to detecting AI generated text in student submissions. The study focuses on a GPT-2 transformer-based classifier, a CNN-LSTM hybrid architecture, and a classic LSTM model. Research objectives include standardizing an experimental protocol and evaluating each method under varying computational constraints and accuracy requirements. The experimental methodology comprises uniform preprocessing of a labeled corpus of student assignments, splitting data into training and validation sets, training models over multiple epochs with identical tokenization and optimization parameters, and assessing their performance using precision, recall, and F1-score metrics. Findings reveal that the transformer-based detector provides the deepest contextual representations, the CNN-LSTM hybrid achieves an optimal balance between processing speed and detection quality, and the LSTM model serves as an efficient, resource-saving baseline for CPU-only environments. The authors conclude that method selection should align with available infrastructure: transformers are suited for GPU-rich servers, hybrid architectures for mid-range platforms, and LSTM modules for CPU-based setups. As a practical recommendation, the authors propose integrating the hybrid detector into educational platforms alongside expert peer review and regularly updating the training corpus to adapt to emerging types of AI-generated content.