Determination of the Optimal Number of Topics in the LDA Model When Working with Large Arrays of Text Data

2023

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/sist58284.2023.10223563
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

The article presents the issues of thematic modeling. The existing approaches for determining the optimal number of topics when working with text data are considered. Calculated metrics such as coherence score, perplexity. There are many widely used methods for determining topics when working with text data. But most of the methods are developed based on the Latent Dirichlet Allocation (LDA). One of the main disadvantages of the probabilistic LDA model is the parameter$\theta$, which the researcher must determine in advance, which is often impossible to know a priori. One of the main adopted strategies is the calculation of a series of LDA models with a different number of topics in a certain quantitative range, followed by the calculation of the quality metrics of the resulting topics.