Module for Detection and Elimination of Contractions in Big Data in The Intellectual Information System of Public Transport

2021

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/aict52784.2021.9620353
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

The aim of the study is to develop methods for automatic detection and elimination of inconsistencies in big data to improve the efficiency and effectiveness of decision-making based on statistical processing and machine learning. The structure and program of the module of an integrated method for detecting and eliminating inconsistencies in big data has been developed, a feature of which is the presence of a two-level system for detecting inconsistencies and a training subsystem in a neural network for detecting inconsistencies and removing them from information received over a certain period of time. The paper presents the results of a numerical experiment to identify and eliminate inconsistencies in the urban bus route dataset and use the cleaned dataset to adjust public transport timetables. The architecture of the data center of an intelligent information system of public transport is proposed for interaction with the developed module for identifying and eliminating contradictions in big data.