Named Entities Recognition in Kazakh Text by SpaCy NER Models

2024

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/ubmk63289.2024.10773475
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper presents a study of named entity recognition (NER) in the Kazakh language using the transformer model of the spaCy library. There are a few works have been done on the NER in the Kazakh language and there is only one open data set. This indicates that the Kazakh language is a low-resource language and the relevance of the study. The article considered all scientific papers written so far on the NER in the Kazakh language and defined the main problems of subject area based on analyzing of recently published research. It provides a formal description of the transformer model from spaCy for NER. To identify the named entities from Kazakh-language texts, a data set was prepared from scientific works, and the recognition of named entities were carried out in a complete pipeline sequence. The main focus was on preparing annotated data for implementing NER from Kazakh texts and on the pipeline NER component.