The estimation of stability of semantic space generated by word embedding algorithms

2018

Жабық қол жеткізу Метадеректер (CSL-JSON)
DOI 10.1109/isai-nlp.2018.8692814
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Vector representation of words plays a major role in the natural language processing. As a fundamental unit, the vector representation is further used to solve applied problems: text classification, textual entailment, named-entity recognition. In recent times was created several models to produce word embedding vectors which uses different approaches. However, they suffer from accidents while training, such as random initialization of weights, the random order of the examples. Therefore, it is impossible to reproduce the result, and repeated experiments using the same dataset and algorithms lead to various close results. In this work, we presented methods for estimating the “dissimilarity” of the semantic spaces built by the algorithms of word embeddings and give mathematical intuition about influence of various randomness on the structure of semantic spaces.