МАТЕМАТИЧЕСКИЙ АППАРАТ ДЛЯ АНАЛИЗА НАУЧНЫХ ТЕКСТОВ: ТЕОРИЯ ВЕРОЯТНОСТЕЙ БАЙЕСА И ЕЕ РЕАЛИЗАЦИЯ

2023

Full text Open access: Hybrid Metadata (CSL-JSON)
DOI 10.58805/kazutb.v.3.20-153
Data confidence 70 medium
How this score is calculated

It is built from checkable properties of the record itself: whether the article has a DOI, how many independent sources confirmed its data, whether the required fields are filled in, and how recent the latest confirmation is. Disagreement between sources and a missing identifier lower it. A value of 80 or above means the record was published without further checking; 60 to 79 means it is published at reduced confidence, with a manual check advisable. A record verified by an editor by hand is never pushed below 90 by a recalculation. This scores our data about the article, not the article itself.

Abstract

В настоящей статье рассматривается математический аппарат, а именно теория вероятностей Байеса, и его применение для анализа научных методов текстов. Основной целью исследования является выбор оптимальных алгоритмов для разработки будущей интеллектуальной системы параллельного анализа неструктурированных данных. Для достижения этой цели авторы обзора изучают распределенный фреймворк Apache Spark. Они проводят анализ возможностей и функциональности этого фреймворка и предлагают оптимальные алгоритмы для анализа неструктурированных данных на основе теории вероятностей Байеса. Такой подход позволяет эффективно анализировать большие объемы текстовой информации, выделять и классифицировать ее по различным параметрам. Статья также описывает преимущества использования Apache Spark для параллельного анализа данных. Фреймворк обеспечивает высокую скорость обработки и эффективное использование ресурсов, что делает его подходящим выбором для анализа больших объемов неструктурированной информации. В заключение, авторы статьи делают вывод о том, что использование математического аппарата теории вероятностей Байеса и распределенного фреймворка Apache Spark позволяет разработать интеллектуальную систему параллельного анализа неструктурированных данных, обеспечивая эффективность и точность анализа текстовой информации.