Lexicon-free stemming for Kazakh language information retrieval

Ualsher Tukeyev, Aliya Turganbayeva, Balzhan Abduali, Diana Rakhimova, Dina Amirova, Aidana Karibayeva

2018

DOI 10.1109/icaict.2018.8747021

Достоверность данных 70 средняя

Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

In paper are considered existing algorithms for automatically isolating the bases for a number of natural languages and possible ways of synthesizing a normal form of a word for the Kazakh language. In paper are described the complete system of endings of the Kazakh language. The paper proposes a new approach to constructing a lexicon-free stemming algorithm for the Kazakh language on the basis of a complete set of endings of the Kazakh language. The stemming algorithm will be used for Kazakh language information retrieval to finding specific words in the documents by stemming base of word.