CREATION OF AUTOMATIC DOCUMENT ANALYSIS MODEL USING DIFFERENT MACHINE LEARNING ALGORITHMS

2025

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.54309/ijict.2025.21.1.011
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

В данной статье представлена модель для автоматиче-ского анализа документов. Она основана на методе TF-IDF (Term Frequency-Inverse Document Frequency), комбинированном с различными алгоритмами машинного обучения, включая SVM (Support Vector Machine), Random Forest и Word2Vec+SVM. Цель исследования – сравнить эффективность данных методов в задачах классификации текстов и выявить наиболее результативный подход. Экспериментальные результаты показали, что гибридная модель, использующая комбинацию TF-IDF и Word2Vec с SVM, достигла наивысшей точности (90,2 %) и F1-score (82,52 %). Метод TF-IDF позволяет оценивать значимость терминов в тексте, в то время как Word2Vec преобразует слова в векторное представление, улучшая семантическое соответствие. Алгоритм SVM эффективно разделяет данные на классы с помощью гиперплоскостей, а Random Forest улучшает каче-ство классификации за счёт использования ансамбля решающих деревьев. Кро-ме того, исследование подтвердило важность предварительной обработки тек-ста (токенизация, нормализация, удаление стоп-слов и лемматизация), которая значительно повышает качество классификации. Предложенная модель может быть применена в таких областях, как информационный поиск, тематическое моделирование и автоматическое реферирование документов. Такие гибридные подходы повышают точность и надёжность автоматического анализа текста, от-крывая перспективы для адаптации в многоязычной среде и добавления новых источников данных. Экспериментальные результаты доказали эффективность данного подхода для решения сложных задач, таких как анализ тональности, ка-тегоризация документов и тематическое моделирование. Данное исследование является важным шагом на пути к созданию новых решений в области автома-тического анализа текста.