Creation of Necessary Technical and Expert- Analytical Conditions for Development of the Information System of Evaluating Open Text Information Sources’ Influence on Society

2019

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/opcs.2019.8880193
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

In this paper, we trained distributional models (patterns) for text preprocessing in Word2vec and Glove. Three variants of text preprocessing were used to train distributional patterns. Based on the implemented distribution model Word2Vec, a vector representation was obtained for a cluster-separated test sample of 30 news items. All variants of the weighted average calculation of the vector representation of texts were considered. Two-stage clustering was carried out. After training the Doc2Vec model on normalized documents, a vector representation was obtained for each document. The following news about the same event was selected for the test, but from different sources. A 2-dimensional “factual cube” was analyzed.