ПОДХОД К ВЫЯВЛЕНИЮ И УСТРАНЕНИЮ ПРОТИВОРЕЧИЙ В БАЗАХ БОЛЬШИХ ДАННЫХ ДЛЯ ЗАДАЧ АНАЛИТИКИ ГОРОДСКОГО ПАССАЖИРСКОГО ТРАНСПОРТА

2022

Full text Open access: Hybrid Metadata (CSL-JSON)
DOI 10.52167/1609-1817-2022-121-2-600-611
Data confidence 70 medium
How this score is calculated

It is built from checkable properties of the record itself: whether the article has a DOI, how many independent sources confirmed its data, whether the required fields are filled in, and how recent the latest confirmation is. Disagreement between sources and a missing identifier lower it. A value of 80 or above means the record was published without further checking; 60 to 79 means it is published at reduced confidence, with a manual check advisable. A record verified by an editor by hand is never pushed below 90 by a recalculation. This scores our data about the article, not the article itself.

Abstract

Целью исследования является разработка подхода для выявления и автоматического устранения противоречий в больших данных для задач аналитики городского пассажирского транспорта. Актуальность выявления и устранения противоречий в больших данных транспортных потоков обусловлена тем фактом, что они преобразуются в значительную информацию для использования в задачах управления. Особенность предложенного подхода состоит в реализации универсального модуля двухуровневого обнаружения противоречий в выбранном наборе данных с использованием статистических методов и алгоритмов машинного обучения. Разработанный модуль «Выявление и устранение противоречий» включает три метода выявления и устранения противоречивых данных: 1) методы статистической обработки; 2) критерий Граббса; 3) алгоритмы машинного обучения: k- средних и многослойная нейронная сеть. Программная реализация системы для предложенного подхода выявления и автоматического устранения противоречий используется для решения задачи формирования расписания городских автобусных маршрутов в пилотном режиме. В статье приведены этапы и результаты численных экспериментов для выбранного набора данных в разработанной системе для предложенного подхода выявления и автоматического устранения противоречий при составлении и корректировке расписания автобусных маршрутов города Алматы.