Data Quality Assurance for Machine Learning

2026

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.52209/1609-1825_2026_2_378
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

The purpose of this paper is to examine key methods for ensuring data quality for machine learning. This paper covers data cleaning and preprocessing processes, automated tools for data quality management, and ways to measure their suitability for model training. Data quality plays a key role in the success of machine learning models. Low-quality data can lead to distortions in models, lower forecast accuracy, and longer decision development time. The main aspects of data quality assurance are defined, which include data cleaning, omission processing, outlier management, normalization and standardization. Tools for automating monitoring and improving data quality, as well as metrics for evaluating their suitability for machine learning, are considered. The study confirms the importance of providing a high-quality data set for machine learning.