Enhancing Student Writing Skills: Leveraging Transfer Learning and Fine-tuned Language Models for Automated Essay Structure Recognition

2023

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.32388/w283y7
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Writing skills are essential for academic and professional success. However, many students struggle to become proficient writers, highlighting the need for effective writing instruction and feedback methods. Automated Writing Evaluation (AWS) systems have emerged as a promising solution to address these challenges. This study proposes a model that utilizes fine-tuned language models to evaluate essay structure, specifically identifying key argumentative and rhetorical elements. The Longformer and Bigbird models were fine-tuned and evaluated for discourse classification. The results demonstrate that the Longformer model outperformed the Bigbird model, achieving an F1 score of 0.634 compared to 0.615. The Longformer model's ability to handle large data inputs without losing vital information contributed to its superior performance. Integrating machine learning models with AWE systems can enhance automated essay evaluation, providing valuable feedback to students. While positional encoding improves discourse classification, future research should focus on expanding data coverage across additional essay categories. This study highlights the significance of leveraging advanced NLP techniques to improve writing skills and lays the foundation for further advancements in automated essay evaluation systems.