When Deployment Changes a Learned Action: Post-Inference Projection in Offline Multi-Agent Reinforcement Learning

2026

Толық мәтін Ашық қол жеткізу: Gold Метадеректер (CSL-JSON)
DOI 10.3390/ai7100413
Деректер сенімділігі 70 орташа
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Learned control is commonly evaluated at the policy output, although a deployment layer may transform that output before execution. We study this post-inference semantic boundary for offline multi-agent reinforcement learning policies that produce three-component simplex actions. Training and model weights are held fixed; at deployment, an action is either preserved or projected to the one-hot vector of its largest component. The intervention is evaluated in programmable multipath network control using three network structures, two policy architectures, and ten matched model–traffic replications. The resulting 120 deployment episodes form 60 policy-level contrasts and 30 shared topology–traffic blocks. Preserving the continuous action favored the end-host successful-session fraction and the controller-side path-sum utilization in all 60 contrasts and externally measured traffic loss in 59; reward, bottleneck utilization, receiver throughput, and controller-probe latency were less uniform. The ten pairs are the independent replication unit, with topology and architecture as crossed conditions; all ten favored preservation for every outcome, a two-sided sign-test probability of 0.002 under an equal-sign reference model. Mean favorable differences were 0.540 percentage points in external loss, 0.00539 in successful-session fraction, and 0.0416 in reward. Two supplementary online arms sharpen the interpretation: top-2 renormalization recovered most of the argmax deficit, whereas a separately trained discrete learner was outperformed even by the projected policy, so the deficit is not merely training–deployment mismatch. Continuous actions remained materially fractional, with mean discarded mass under argmax between approximately 0.45 and 0.53, but action geometry showed no measurable association with the size of the deployment effect. Argmax therefore removes substantial action structure and the two deployment interpretations produce different system behavior, without discarded mass being identified as the causal mediator. Deployment-aware evaluation should report both the policy output and the executable interpretation applied after inference.