Development of methods for receiving analytical data from different SQL/ NoSQL databases and leading to uniform format

А.А. Куандыков, Raissa Uskenbayeva, Нуржан Мукажанов

2015

Закрытый доступ Метаданные (CSL-JSON)
DOI 10.1109/iccas.2015.7364840
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

In this paper unified structure formation method (ETL) development for operative analysis of data stored in different SQL and NoSQL databases are considered. Unified structure formation method (ETL) is based on work with Map Reduce parallel model. In order to perform the method following steps should be considered: development of searching forms (pattern) for data searching in different database, transforming results of searching through Map Reduce parallel model, taking pre-aggreagtional data during transforming process and preparing data for downloading to data warehouse.