CREATION OF AUTOMATIC DOCUMENT ANALYSIS MODEL USING DIFFERENT MACHINE LEARNING ALGORITHMS

2025

Full text Open access: Gold Metadata (CSL-JSON)
DOI 10.54309/ijict.2025.21.1.011
Data confidence 70 medium
How this score is calculated

It is built from checkable properties of the record itself: whether the article has a DOI, how many independent sources confirmed its data, whether the required fields are filled in, and how recent the latest confirmation is. Disagreement between sources and a missing identifier lower it. A value of 80 or above means the record was published without further checking; 60 to 79 means it is published at reduced confidence, with a manual check advisable. A record verified by an editor by hand is never pushed below 90 by a recalculation. This scores our data about the article, not the article itself.

Abstract

В данной статье представлена модель для автоматиче-ского анализа документов. Она основана на методе TF-IDF (Term Frequency-Inverse Document Frequency), комбинированном с различными алгоритмами машинного обучения, включая SVM (Support Vector Machine), Random Forest и Word2Vec+SVM. Цель исследования – сравнить эффективность данных методов в задачах классификации текстов и выявить наиболее результативный подход. Экспериментальные результаты показали, что гибридная модель, использующая комбинацию TF-IDF и Word2Vec с SVM, достигла наивысшей точности (90,2 %) и F1-score (82,52 %). Метод TF-IDF позволяет оценивать значимость терминов в тексте, в то время как Word2Vec преобразует слова в векторное представление, улучшая семантическое соответствие. Алгоритм SVM эффективно разделяет данные на классы с помощью гиперплоскостей, а Random Forest улучшает каче-ство классификации за счёт использования ансамбля решающих деревьев. Кро-ме того, исследование подтвердило важность предварительной обработки тек-ста (токенизация, нормализация, удаление стоп-слов и лемматизация), которая значительно повышает качество классификации. Предложенная модель может быть применена в таких областях, как информационный поиск, тематическое моделирование и автоматическое реферирование документов. Такие гибридные подходы повышают точность и надёжность автоматического анализа текста, от-крывая перспективы для адаптации в многоязычной среде и добавления новых источников данных. Экспериментальные результаты доказали эффективность данного подхода для решения сложных задач, таких как анализ тональности, ка-тегоризация документов и тематическое моделирование. Данное исследование является важным шагом на пути к созданию новых решений в области автома-тического анализа текста.