Addressing data gaps in environmental sensors: a case study on temporal patterns and restoration strategies in East Kazakhstan region

2024

Толық мәтін Ашық қол жеткізу: Gold Метадеректер (CSL-JSON)
DOI 10.1016/j.procs.2024.08.062
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Nowadays, the monitoring systems embedded with diverse sensors within the Internet of Things play an important role in how we collect data and provide in-depth insights into human behavior, environmental trends, and different industrial processes. These sensors can gather data in real-time and due to their ability to connect through various communication interfaces, it is possible to integrate such devices into existing networks ensuring that data can be transmitted in real-time to central systems or mobile devices. However, many factors such as connectivity issues, severe weather, and sensor faults, might cause missing data, thus leading to poor decision-making. In this study, an in-depth analysis was performed on environmental meteorological data collected from May 2022 to March 2023 in the East Kazakhstan region using Vaisala WXT536 multi-parameter weather sensor. The data restoration strategy that is based on the duration of data gaps is evaluated. For short-term gaps under 30 minutes in duration, the mean and median imputation achieved higher results with a root mean squared error of 0.25 for temperature than training Random Forest algorithm which achieved 3.59, while for the extended periods of missing values, the Long Short-Term Memory model was utilized with 2.47 for the temperature. The main goal of the research is to analyze the temporal patterns of missing data and potential reasons for these failures as well as to evaluate the data restoration strategies.