Evidence-Grounded LLM Summarization for Actionable Student Feedback Analysis

Information, 2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.3390/info17040351
Достоверность данных 85 высокая
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Analyzing large-scale student feedback is critical for higher education quality assurance, yet manual analysis is inefficient and subjective. This paper proposes an integrated framework that unifies supervised classification, unsupervised clustering, and retrieval-augmented generation (RAG) to produce evidence-grounded and actionable insights. Ensemble-based supervised models perform thematic classification, while multi-encoder embedding fusion enables unsupervised discovery of coherent feedback clusters. A multi-stage RAG module integrates category predictions and cluster structure to retrieve representative evidence and generate transparent summaries with citation traceability. The framework is evaluated on student feedback collected from a Central Asian university and two public benchmarks, EduRABSA and Coursera course reviews, covering seven thematic categories. The supervised ensemble achieves 83.0% accuracy and 0.829 Macro-F1 on the primary dataset, while unsupervised clustering attains a silhouette score of 0.271 under the best fusion strategy. Independent evaluation on external benchmarks yields ensemble accuracy of 81.1% on EduRABSA and 49.8% on Coursera, confirming the framework’s adaptability across diverse educational contexts. By leveraging supervised labels and unsupervised structure, the proposed framework enables evidence-grounded, category-aware LLM-based summaries that faithfully reflect the diversity and distribution of student feedback and support actionable educational decision-making.