Preliminary Tasks of Word Embeddings Comparison of Unaligned Audio and Text Data for the Kazakh Language

2023

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/wi-iat59888.2023.00072
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

In this paper, we present our preliminary work on the topological analysis of audio and text data for unsupervised speech processing for the Kazakh language. Our research is motivated by the advancements in generative models and their potential impact in this domain. We make the assumption that phoneme frequencies and contextual relationships exhibit similarity in both the acoustic and text domains for a given language. In order to delve into this hypothesis, we carried out experiments utilizing the variational autoencoder (VAE) framework at the word level. This was undertaken as an initial step for comparing word embeddings in unaligned audio and text data specific to the Kazakh language.. We trained VAE models on both acoustic and text data, with the aim of extracting the encoding part from the acoustic VAE and the decoding part from the text VAE. In the next stage of our planned research, we intend to apply persistent homology methods to analyze the topological structure of these two latent vector spaces. This analysis will provide insights into the underlying patterns and relationships between the audio and text data.