Adaptive Replay Strategies Stabilize Multi-Agent Reinforcement Learning for Differential-Drive Robot Coordination

2026

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.18196/jrc.v6i6.28387
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Background: Coordinating differential-drive mobile robots for landmark coverage is challenging due to non-holonomic dynamics, clutter, and sparse rewards. Standard multi-agent RL pipelines often show unstable learning and inconsistent completion in this setting. Methodology: We adopt a centralized-training, decentralized-execution actor-critic without inter-agent commu nication. Our replay-centric design combines a tagged buffer that up-samples goal-reaching transitions and an offline replay initialization that seeds early learning with curated trajectories. Dynamic task assignment uses the Hungarian algorithm during training and evaluation, and we benchmark against uniform replay and established variants. Results: In a cluttered six-robot arena, the approach improves training stability relative to uniform replay. Convergence is faster and requires fewer updates to reach consistent success. Coverage efficiency increases as landmarks are reached earlier across runs. Collisions per episode decrease without adding communication or architectural changes. Multi seed evaluations show gains that persist with narrow confidence intervals. Train-evaluation gaps shrink on unseen maps, indicating improved generalization. Ablations attribute complementary ben efits to the tagged and offline components. Performance remains competitive with prioritized and hindsight replay baselines under matched budgets. Computational overhead is small because sam pling logic changes while network sizes do not. Conclusions: Focus ing on replay design substantially stabilizes multi-agent learning for differential-drive coordination. The pipeline integrates cleanly with standard CTDE implementations and supports practical deployment in coverage tasks.