МАТЕМАТИЧЕСКИЙ АППАРАТ ДЛЯ АНАЛИЗА НАУЧНЫХ ТЕКСТОВ: ТЕОРИЯ ВЕРОЯТНОСТЕЙ БАЙЕСА И ЕЕ РЕАЛИЗАЦИЯ

2023

Полный текст Открытый доступ: Hybrid Метаданные (CSL-JSON)
DOI 10.58805/kazutb.v.3.20-153
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

В настоящей статье рассматривается математический аппарат, а именно теория вероятностей Байеса, и его применение для анализа научных методов текстов. Основной целью исследования является выбор оптимальных алгоритмов для разработки будущей интеллектуальной системы параллельного анализа неструктурированных данных. Для достижения этой цели авторы обзора изучают распределенный фреймворк Apache Spark. Они проводят анализ возможностей и функциональности этого фреймворка и предлагают оптимальные алгоритмы для анализа неструктурированных данных на основе теории вероятностей Байеса. Такой подход позволяет эффективно анализировать большие объемы текстовой информации, выделять и классифицировать ее по различным параметрам. Статья также описывает преимущества использования Apache Spark для параллельного анализа данных. Фреймворк обеспечивает высокую скорость обработки и эффективное использование ресурсов, что делает его подходящим выбором для анализа больших объемов неструктурированной информации. В заключение, авторы статьи делают вывод о том, что использование математического аппарата теории вероятностей Байеса и распределенного фреймворка Apache Spark позволяет разработать интеллектуальную систему параллельного анализа неструктурированных данных, обеспечивая эффективность и точность анализа текстовой информации.