Enhancing the Quality of Clustering Job Skills Through the Fine-Tuning of the Sentence Transformer Model

2024

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/ubmk63289.2024.10773449
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

This article examines the application of sentence embedding models for clustering skills collected from the online recruitment site hh.kz. Skill clustering can be used to create a skill community within the job vacancy knowledge graph. The main objective of the research is to improve the quality of skill clustering by fine-tuning sentence transformer models on domain-specific data. The experiments conducted showed significant improvements in the model's performance metrics in Russian, including Cosine-Similarity, Manhattan-Distance, Euclidean-Distance, and Dot-Product-Similarity. Applying agglomerative clustering to skill embeddings before and after model fine-tuning demonstrated an enhancement in cluster quality, as evidenced by an increased average silhouette coefficient and a decreased percentage of erroneous clusters. The article also discusses the limitations of the conducted research and suggests directions for future development.