STRATA-HeadQuotient: Functional Localization of One Quarter of Global KV Heads with Typed Predicate-Graph Computation at 8192-Token Context

Machine Learning and Knowledge Extraction, 2026

Толық мәтін Ашық қол жеткізу: Gold Метадеректер (CSL-JSON)
DOI 10.3390/make8090269
Деректер сенімділігі 85 жоғары
Бұл баға қалай есептеледі

Ол жазбаның өзінің тексерілетін белгілерінен құралады: мақаланың DOI-і бар ма, оның деректерін қанша тәуелсіз дереккөз растады, міндетті өрістер толтырылған ба және соңғы растау қаншалықты жаңа. Дереккөздер арасындағы алшақтық пен идентификатордың болмауы бағаны төмендетеді. 80-нен бастап мән жазбаның қосымша тексерусіз жарияланғанын, 60-тан 79-ға дейін — оның сенімділігі төмен күйде жарияланғанын және қолмен тексеру ұсынылатынын білдіреді. Редактор қолмен тексерген жазбаны қайта есептеу 90-нан төмен түсірмейді. Бұл — мақаланың өзіне емес, ол туралы деректерімізге берілген баға.

Аңдатпа

Global attention combines long-range lexical access with semantic-relation retrieval, making whole-layer replacement lossy. We present Strata-HeadQuotient, which statically assigns each key–value (KV) head to full-history attention (GLOBAL), 1024-token attention (LOCAL), or local attention plus an event-scoped typed graph read (LOCAL_GRAPH). For a 24-layer, 16-head decoder, we audited 384 heads and all 6903 pairs among 118 candidates before constrained subset selection. The Q25 export localized 96/384 heads: 81 were LOCAL and 15 were LOCAL_GRAPH. On 470 document-disjoint 8192-token windows (3.85 million tokens), graph-disabled Q25 perplexity was 1.00146× dense (95% document-bootstrap interval: 1.00131–1.00161); the 4096–8191-token ratio was 1.00201. On an untouched 2000-case semantic test, typed execution was 1998/2000, versus 374/2000 for a capacity-matched untyped graph. Two fresh adaptation/selection runs reproduced both directions, although every matched-capacity marginal graph-effect interval included zero. Q25 retained 78.125% of token-KV bytes and 98.44% of dense full-sequence throughput; a tested Q30 export failed. Thus, interaction-aware localization preserved 8192-token language-model quality, while a separate typed path controlled event-role behavior. The experiment does not establish that graph computation caused perplexity preservation.