Aligning Sentences for Kazakh-Turkish Parallel Corpora

2024

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/ubmk63289.2024.10773567
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This paper presents a hybrid approach to sentence alignment for the Kazakh-Turkish parallel corpus, addressing the challenges posed by linguistic and structural differences between the two languages. The system is divided into two modules: the Hunaling module and the Rule-Based module. The Hunaling module first performs an initial alignment using sentence length to establish a rough correspondence between sentences. This is followed by a refinement stage that leverages lexical matching, focusing on Turkic cognates and shared roots. The Rule-Based module then applies syntactic and contextual rules to fine-tune the alignment, using a small annotated corpus to guide adjustments. The proposed approach achieves a precision of 90%, recall of 88%, and an F1-score of 88.5%, demonstrating significant improvements over traditional methods. This methodology offers a robust solution for aligning sentences in Kazakh-Turkish parallel corpora, with potential applications in machine translation and multilingual NLP.