Neural Network with Fine-Tuned BERT for IELTS Writing Evaluation

2025

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/sist61657.2025.11139356
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

In recent years, advancements in Natural Language Processing (NLP) have paved the way for automated systems that can efficiently evaluate written texts, offering significant improvements over traditional human grading methods. One critical area where these systems are being applied is in the evaluation of IELTS writing tasks. This paper presents a novel approach to automating IELTS writing evaluation by utilizing neural network architecture with the BERT tokenizer. We explore how pre-trained transformer models, particularly BERT, can be fine-tuned for multi-dimensional essay scoring, addressing various facets such as coherence, lexical resources, grammatical accuracy, and task response. The proposed method leverages BERT's ability to understand contextual relationships within text, allowing for a more nuanced and detailed evaluation compared to conventional machine learning techniques. The model is trained on a dataset consisting of IELTS Writing Task 2 responses, and its performance is measured against standard scoring criteria. Preliminary results indicate that the use of the BERT tokenizer significantly improves the model’s ability to assess essay quality, achieving high correlation with human-assigned scores. This work contributes to the growing field of automated essay scoring (AES), offering a robust framework that can be applied to large-scale language proficiency testing systems like IELTS, ultimately enhancing the efficiency and accuracy of language assessments.