Comparison of traditional machine learning methods and Google services in identifying tonality on Russian texts

2018

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.1088/1742-6596/1117/1/012002
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Classification of text is very important and interesting topic for research due to number of unstructured data and especially in the form of news. The problem arises when classifying news that is written in language other than english. Due to poor support of research done in this field and general language complexity, it is very hard to identify correctly, tone and sentiment of a text. This problems can be avoided by applying various techniques at many stages of this model. Choosing proper technique can be very tricky and would affect efficiency of a model and can save time as well as working time. The aim of this paper is to compare traditional machine learning techniques with Google services by using Translate API and see how well they perform while working with Russian texts. On traditional machine learning techniques after applying pre-processing methods which included stemming, parsing and indexing and by using various different methods of embedding turns our unstructured data into a structured data.