Fine-tuning multilingual sentence transformers for low-resource skill-concept matching across Kazakh, Russian, and English

2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.3389/fdata.2026.1900836
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Introduction: Matching short, specialized skill expressions across English, Russian, and Kazakh is challenging because general-domain multilingual encoders underperform on terse, code-mixed, domain-specific phrases, particularly in the low-resource Kazakh setting. Methods: We fine-tuned a multilingual Sentence Transformer using a staged Multiple Negatives Ranking objective on a trilingual paraphrase corpus, including Russian augmentation pairs. We evaluated skill matching and semantic similarity across languages and assessed the resulting embeddings through downstream skill-taxonomy clustering. Results: Fine-tuning preserved English performance while improving Russian and Kazakh similarity quality. Russian cosine Pearson correlation increased from 0.8125 to 0.8221, while Kazakh cosine Pearson increased from 0.5989 to 0.6050 and Kazakh dot-product Pearson from 0.4487 to 0.4912. Agglomerative clustering improved mean silhouette from 0.27126 to 0.2851 and reduced erroneous clusters from 19.74% to 13.97%. Discussion: The results provide evidence consistent with cross-lingual transfer as an important mechanism of improvement for Kazakh. They also motivate language-specific threshold calibration and demonstrate that intrinsic similarity improvements translate into a cleaner downstream skill taxonomy.