CAN GENERATIVE AI REPLACE HUMAN ESSAY RATERS? A PSYCHOMETRIC COMPARISON OF GPT-5.2, GEMINI, AND TEACHER RATINGS

2026

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.63597/uto3105-4161.2026.7.3.016
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Evaluating student writing is a crucial yet time-consuming process. Large Language Models (LLMs)and other recent advancements in generative AI provide potential solutions to support teachers in essayassessment. This study psychometrically evaluates large language models such as GPT-5.2 and Gemini withhuman raters to examine reliability of these solutions. All 55 essays were collected and assessed by GPT 5.2,Gemini and an experienced teacher using a four-criterion scoring rubric. The aim of this study is to psychometrically compare the results of human raters, GPT-5.2, and Gemini assessments on English essays,to determine their rating reliability, intercorrelation, rating differences, and the construct validity of the ratingrubric. The results demonstrated that GPT-5.2 assigned the highest vocabulary scores, while Geminiproduced the highest grammar scores. Overall, GPT-5.2 showed high agreement with teacher ratings and canbe used as a reliable adjunct to essay grading. However, teacher professional judgment remains importantwhen assessing complex content and contextual features. These findings support the use of generative AI as asupplementary tool for improving the efficiency and consistency of essay assessment in EFL contexts.