Comparative Analysis of Document Similarity Models: A Hybrid TF-IDF + BERT Pipeline for Scalable (Cross-Lingual) Plagiarism Detection

2025

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/iccike67021.2025.11318285
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Plagiarism detection faces two competing demands: (1) high semantic sensitivity to catch paraphrases and AI-generated text, and (2) computational scalability to handle large document collections. Transformer models such as BERT provide state-of-the-art semantic discrimination but are expensive to run at scale. This paper introduces a hybrid pipeline that combines fast lexical candidate retrieval (TF-IDF + cosine similarity) with a lightweight BERT-based re-ranking and verification stage. We also extend standard evaluations with a curated Kazakh-extended cross-lingual subset (KazPar) to assess real-world multilingual scenarios. Experiments on PAN-PC11, PlagBench, and CL4Lang (plus KazPar) show that the hybrid approach offers near-BERT accuracy (F1=90.7% vs BERT-only 91.3%) while reducing inference time by$\approx 62 \%$on our testbed. An ablation study over the candidate size (k) quantifies the accuracy/latency trade-off. We release a reproducible training recipe and (upon acceptance) the KazPar subset and code. The hybrid design makes semantic plagiarism detection feasible for institutions with limited compute resources and for large-scale academic integrity systems.