Abstract
В статье представлен углубленный анализ кластеризации коротких текстов с использованием передовых методов: двунаправленные представления кодировщика из преобразователей (BERT), частота терминов-обратная частота документа (TF-IDF) и инновационный гибридный метод Latent Dirichlet Allocation+BERT+Autoencoder (LDA+BERT+AE). В экспериментальном разделе сравнивается эффективность этих методов для кластеризации коротких текстов, при этом особое внимание уделяется гибридному подходу LDA+BERT+AE. Во время обучения и проверки модели LDA-BERT для 200 эпох значения потерь изначально превышают 1,2, быстро уменьшаются в течение первых 25 эпох, достигают около 0,8 и, наконец, стабилизируются на уровне около 0,4. Результаты исследования показывают, что гибридный метод LDA+BERT+AE значительно улучшает качество кластеризации по сравнению с методами, используемыми по отдельности. На основе полученных результатов даны рекомендации по выбору и комбинированию оптимальных методов для различных типов задач кластеризации коротких текстов и обработки естественного языка (NLP). В исследовании подчеркивается важность метода комплексного анализа для коротких текстов, его необходимость для повышения глубины семантического понимания и лучшего извлечения информации.