Determination of the Optimal Number of Topics in the LDA Model When Working with Large Arrays of Text Data

2023

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/sist58284.2023.10223563
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

The article presents the issues of thematic modeling. The existing approaches for determining the optimal number of topics when working with text data are considered. Calculated metrics such as coherence score, perplexity. There are many widely used methods for determining topics when working with text data. But most of the methods are developed based on the Latent Dirichlet Allocation (LDA). One of the main disadvantages of the probabilistic LDA model is the parameter$\theta$, which the researcher must determine in advance, which is often impossible to know a priori. One of the main adopted strategies is the calculation of a series of LDA models with a different number of topics in a certain quantitative range, followed by the calculation of the quality metrics of the resulting topics.