Dynamic Text Modeling and Categorization Framework based on Semantics Extraction and Similarity Checking

2022

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/csci58124.2022.00132
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Semantics extraction is necessary to obtain relevant knowledge from general data. Recently, many researchers have developed numerous techniques to retrieve the semantics and use this information for categorization purposes. Primarily, the methodologies can be grouped into two main approaches: knowledge-based and corpus-based approaches. In this work, we studied how to achieve the same purpose using semantics extraction and matching methods. In order to prove the effectiveness of our approach, we utilized the problem of news article categorization as a use case. In fact, we developed a dynamic tool that adopts the proposed technique to crawl and classify articles from many well-known newspapers. Furthermore, the topic of articles can be grouped by their meta-information or by user-defined categories flawlessly. For generalization, the Universal Sentence Encoder model has been used for distributed semantic text representation and trained on a large processed Wikipedia corpus to achieve better accuracy. Besides, there is a possibility to enhance the results further using multi-label categorization or optimizing the meta-categories from the training dataset shortly.