Semantic Search for Data on a Given Topic in Social Networks: A Comparative Study of Keyword-based and BERT-based Methods

2025

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.9734/ajrcos/2025/v18i6701
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Semantic search has emerged as a powerful alternative to traditional keyword-based retrieval, particularly in the context of unstructured social media data. This study presents a comparative analysis of a semantic search system based on Sentence-BERT (SBERT) and a conventional keyword-based pipeline implemented with Elasticsearch, using a large Reddit dataset as a case study. The primary contribution lies in integrating state-of-the-art semantic modeling with scalable search infrastructure and empirically evaluating its effectiveness on real-world social media content. The experimental workflow includes six stages: dataset selection, preprocessing, embedding generation, indexing, query processing, and performance evaluation. Results show that the SBERT-based semantic search system consistently outperforms the keyword-based approach across all metrics, particularly in capturing user intent, handling informal language, and retrieving semantically relevant content despite lexical variations. Nonetheless, the semantic approach incurs higher computational costs and exhibits occasional overgeneralization.