ЗАДАЧА СОЗДАНИЯ СИНТЕТИЧЕСКИХ КОРПУСОВ ДЛЯ МАЛОРЕСУРСНОГО ЯЗЫКА

2023

Полный текст Открытый доступ: Hybrid Метаданные (CSL-JSON)
DOI 10.51889/2938.2022.14.84.020
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Recently, various areas of artificial language processing have been actively developing, such as search engines, machine translation technologies, speech technologies, etc. using machine learning technology and non-neural networks. For the implementation and development of these areas, first of all, the task of electronic linguistic resources such as corpora, dictionaries, a set of rules, etc. is acute. These resources should be of a very large volume of good quality. In this article, the problem of shortage of buildings for low-resource languages, which include the Turkic-speaking group, is considered. This is a problem for low-resource languages, such as Kazakh, because there are very few available corpora. This article presents an approach to the creation of synthetic corpora by the method of determining and replacing a candidate word from the list of synonymous dictionary of the Kazakh language. Test experiments were conducted. As a result, the specified case was enlarged 3.37 times. Keywords: corpora, Kazakh language, synonyms, linguistic resources. В последнее время активно развиваются различные направления обработки искусственного языка, такие как поисковые системы, технологии машинного перевода, речевые технологии и т. д. с использованием технологий машинного обучения и нейронных сетей. Для реализации и развития этих направлений, в первую очередь, решаются задачи электронных лингвистических ресурсов, таких как корпуса, словари, своды правил и т.п. является острым. Эти ресурсы должны быть очень большого объема хорошего качества. В статье рассматривается проблема нехватки корпусов для малоресурсных языков, к которым относится тюркоязычная группа. Это проблема для языков с низким ресурсом, таких как казахский, потому что доступных корпусов очень мало. В статье представлен подход к созданию синтетических корпусов методом определения и замены слова- кандидата из списка синонимического словаря казахского языка. Были проведены тестовые эксперименты. В результате указанный корпус был увеличен в 3,37 раза. Ключевые слова: корпусы, казахский язык, синонимы, лингвистические ресурсы. Соңғы кездері машиналық оқыту технологиялары мен нейрондық емес желілерді пайдалана отырып, іздеу жүйелері, машиналық аударма технологиялары, сөйлеу технологиялары және т.б. сияқты жасанды тілдерді өңдеудің әртүрлі бағыттары белсенді түрде дамып келеді. Бұл бағыттарды жүзеге асыру және дамыту үшін ең алдымен электронды лингвистикалық ресурстардың корпустар, сөздіктер, ережелер жинағы және т.б. міндеттері шешіледі. өткір. Бұл ресурстар өте үлкен және сапалы болуы керек. Бұл мақалада түркітілдес топты қамтитын ресурсы төмен тілдердің корпусының жетіспеушілігі мәселесі қарастырылады. Бұл қазақ тілі сияқты ресурсы төмен тілдер үшін проблема, өйткені қол жетімді корпустар өте аз. Бұл мақалада қазақ тілінің синонимдік сөздігінің тізімінен үміткер сөзді анықтау және ауыстыру әдісі арқылы синтетикалық корпус жасау тәсілі берілген. Сынақ эксперименттері жүргізілді. Нәтижесінде көрсетілген корпус 3,37 есеге ұлғайды. Түйін сөздер: корпус, қазақ тілі, синонимдер, лингвистикалық ресурстар.