Abstract
Быстрый рост объемов и гетерогенности данных предъявляют повышенные требования к эффективности и масштабируемости платформ аналитики больших данных. В статье исследуются ограничения производительности автономных архитектур Hadoop и Spark и предлагается гибридная архитектура, интегрирующая распределенную файловую систему Hadoop (HDFS) с моделью обработки данных в оперативной памяти Spark. Ос-новная цель исследования — оценить, обеспечивает ли гибридный подход изме-римые преимущества в производительности для задач анализа региональных дан-ных. Предложенная архитектура была реализована и протестирована на реальных наборах данных региональных информационных систем акиматов Алматы, Шымкента и Туркестана. Оценка проводилась с использованием стандартных бенчмарков TPC-H и HiBench, охватывающих пакетную обработку данных, потоковую аналитику и задачи машинного обучения. Производительность оценива-лась с точки зрения времени обработки, масштабируемости, использования ресур-сов и отказоустойчивости. Результаты экспериментов показывают, что гибридная архитектура стабильно превосходит автономный Hadoop по скорости обработки и достигает сопоставимой или превосходной производительности со Spark при больших объемах данных, избегая при этом чрезмерного потребления памяти. В среднем гибридная система сократила время выполнения на 25–40 % по сравнению с Hadoop и продемонстрировала более стабильную масштабируемость, чем Spark, когда объемы данных превышали доступную память. Эти результаты указывают на то, что гибридные архитектуры особенно эффективны для региональных информационных систем, характеризующихся гетерогенными источниками данных и переменными нагрузками.