Comparative Analysis of Document Similarity Models: A Hybrid TF-IDF + BERT Pipeline for Scalable (Cross-Lingual) Plagiarism Detection

2025

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/iccike67021.2025.11318285
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Plagiarism detection faces two competing demands: (1) high semantic sensitivity to catch paraphrases and AI-generated text, and (2) computational scalability to handle large document collections. Transformer models such as BERT provide state-of-the-art semantic discrimination but are expensive to run at scale. This paper introduces a hybrid pipeline that combines fast lexical candidate retrieval (TF-IDF + cosine similarity) with a lightweight BERT-based re-ranking and verification stage. We also extend standard evaluations with a curated Kazakh-extended cross-lingual subset (KazPar) to assess real-world multilingual scenarios. Experiments on PAN-PC11, PlagBench, and CL4Lang (plus KazPar) show that the hybrid approach offers near-BERT accuracy (F1=90.7% vs BERT-only 91.3%) while reducing inference time by$\approx 62 \%$on our testbed. An ablation study over the candidate size (k) quantifies the accuracy/latency trade-off. We release a reproducible training recipe and (upon acceptance) the KazPar subset and code. The hybrid design makes semantic plagiarism detection feasible for institutions with limited compute resources and for large-scale academic integrity systems.