AWS 提出 priming 方法，可将预训练 Transformer 改造成混合状态空间架构

AWS 提出 priming 方法，可将预训练 Transformer æ”¹é€ æˆæ··åˆçŠ¶æ€ç©ºé—´æž¶æž„ · AIHOT

Amazon Science

·

2026-10-13 01:36

1 小时前

精选

AI 评分

61

AWS 提出 priming 方法，可将预训练 Transformer æ”¹é€ æˆæ··åˆçŠ¶æ€ç©ºé—´æž¶æž„

Can we change an AI model’s architecture without retraining it from scratch?

AI 导读

AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出 priming 方法，复用预训练 Transformer 权重构建混合架构，将预训练成本降低逾 99%ï¼Œå ¨æµç¨‹æ¶ˆè€—ä¸è¶³æºæ¨¡åž‹ 0.5% 的 token 预算。

推荐理由

AWS 团队提出 priming 方法，把预训练 Transformer æ”¹é€ æˆæ··åˆæž¶æž„çš„é¢„è®­ç»ƒæˆæœ¬é™ä½Žé€¾ 99%，并开源了 8B 和 32B æ¨¡åž‹ä¸Žä»£ç ã€‚

正文 · AI 翻译

AI 智能体正在快速扩展：更长的会话、更深的推理链、更强的自主性。但它们底层的 Transformer 架构仍然要支付一笔随处理 token æ•°é‡å¢žé•¿çš„å† å­˜ç¨Žã€‚éšç€æ™ºèƒ½ä½“èƒ½åŠ›è¶Šæ¥è¶Šå¼ºï¼Œè¿™ç¬”æˆæœ¬ä¹Ÿéšä¹‹å¢žé•¿ã€‚å¦‚ä»Šï¼Œæ··åˆæž¶æž„å¤§é‡æ¶ŒçŽ°ï¼Œå®ƒä»¬ç»„åˆä½¿ç”¨å¤šç§æ–¹æ³•ï¼Œä»¥åœ¨å† å­˜ã€é€Ÿåº¦å’Œè´¨é‡ä¹‹é—´å–å¾—æ›´å¥½çš„å¹³è¡¡ã€‚è¿™äº›æ–¹æ³•åŒ æ‹¬ç¨€ç–æ³¨æ„åŠ›ï¼ˆåœ¨é€‰æ‹©ä¸‹ä¸€ä¸ª token 时只考虑过去 token 的一个子集）、滑动窗口注意力（只保留最近的 token），以及状态空间模型（将完整历史的信息压缩为固定大小的状态）。这些混合架构可以理解为序列模型设计空间中的一些点：它们以不同程度在遍历序列、经过不同状态时混合信息。它们彼此之间的区别在于如何保留和使用过去。迄今为止，探索这一设计空间需要从头训练每一个新架构，使用数万亿 token 和数十万 GPU å°æ—¶ã€‚è¿™ä½¿å¾—å¯¹æ··åˆæž¶æž„è¿›è¡Œå—æŽ§æ¯”è¾ƒå˜å¾—æžå ¶æ˜‚è´µã€‚åœ¨ä¸€ç¯‡æ–°è®ºæ–‡ã€ŠPriming: Hybrid state space models from pre-trained Transformers》中，我们 Amazon Web Services çš„å›¢é˜Ÿè§£å†³äº†è¿™ä¸ªé—®é¢˜ã€‚æˆ‘ä»¬å¼•å ¥äº† priming，一种利用预训练 Transformer 权重作为起点的方法，将混合架构的预训练成本降低 99% 以上。借助 primingï¼Œæ¨¡åž‹å¼€å‘è€ å¯ä»¥æå‡ºä»¥å‰å› æˆæœ¬è¿‡é«˜è€Œæ— æ³•å¤§è§„æ¨¡å›žç­”çš„é—®é¢˜ï¼šå“ªäº›æ³¨æ„åŠ›å±‚å¯ä»¥è¢«æ›´é«˜æ•ˆçš„å±‚æ›¿æ¢ï¼Ÿåœ¨ä¸ç‰ºç‰²è´¨é‡çš„å‰æä¸‹å¯ä»¥æ›¿æ¢å¤šå°‘æ³¨æ„åŠ›å±‚ï¼Ÿå“ªç§çŠ¶æ€ç©ºé—´å±‚æ•ˆæžœæœ€å¥½ï¼Ÿä»¥åŠé€Ÿåº¦ä¸Žå‡†ç¡®çŽ‡ä¹‹é—´çš„æƒè¡¡æ˜¯ä»€ä¹ˆæ ·å­ï¼Ÿåœ¨æˆ‘ä»¬çš„è®ºæ–‡ä¸­ï¼Œæˆ‘ä»¬æ¯”è¾ƒäº†ä½¿ç”¨ä¸‰ç§ä¸åŒç±»åž‹çŠ¶æ€ç©ºé—´æ¨¡åž‹ï¼ˆGated KalmaNet、Gated DeltaNet 和 Mamba-2）的混合模型。我们的一些发现：并非所有状态空间模型都相同。在受控条件下，Gated KalmaNet（GKAï¼‰è¡¨çŽ°æœ€å¥½ï¼Œå ¶æ¬¡æ˜¯ Gated DeltaNet（GDN），然后是 Mamba-2。GKA ç‹¬ç‰¹åœ°æä¾›äº†æ— éœ€é‡æ–°è®­ç»ƒçš„å¯å˜é•¿åº¦æŽ¨ç†è®¡ç®—ï¼Œå¹¶è®©ç”¨æˆ·å¯ä»¥ç›´æŽ¥æŽ§åˆ¶å ¶åœ¨é€Ÿåº¦-å‡†ç¡®çŽ‡å‰æ²¿ä¸Šçš„ä½ç½®ã€‚å¯¹å ¨éƒ¨å† å®¹åšä¸€ä¸ªå¥½çš„æœ‰æŸæ‘˜è¦ï¼Œèƒœè¿‡å¯¹æœ€è¿‘è¿‡åŽ»çš„å®Œç¾Žè®°å½•ã€‚çŠ¶æ€ç©ºé—´æ¨¡åž‹å§‹ç»ˆä¼˜äºŽæ»‘åŠ¨çª—å£æ³¨æ„åŠ›ï¼ˆSWA），即使 SWA èŽ·å¾—ä¸¤å€çš„å† å­˜é¢„ç®—ã€‚ç›¸åŒè´¨é‡ï¼Œä¸¤å€åžåé‡ã€‚ä¸€ä¸ª 320 亿参数的基于 GKA 的混合模型在推理基准上与源 Transformer 相当，同时在 128,000 token ä¸Šä¸‹æ–‡ä¸‹è§£ç é€Ÿåº¦æœ€é«˜å¯è¾¾ä¸¤å€ï¼Œå¹¶åœ¨æœ€çŸ­ä» ä¸‰åˆ†ä¹‹äºŒçš„å¢™é’Ÿæ—¶é—´å† å¾—åˆ°æ­£ç¡®ç­”æ¡ˆã€‚ä¸ºä¿ƒè¿›å¯¹æ··åˆæž¶æž„çš„è¿›ä¸€æ­¥ç ”ç©¶ï¼Œæˆ‘ä»¬å‘å¸ƒäº† 80 亿参数和 320 亿参数规模的 primed æ··åˆæ¨¡åž‹åº“ï¼Œç”¨äºŽé•¿ä¸Šä¸‹æ–‡æŽ¨ç†å’ŒæŒ‡ä»¤éµå¾ªï¼Œå¹¶é™„å¸¦è®­ç»ƒä»£ç ã€ä¼˜åŒ–å† æ ¸ä»¥åŠä¸€ä¸ª vLLM 服务插件，均采用 Apache 2.0 许可证。注意力机制。Transformer çš„æ³¨æ„åŠ›æœºåˆ¶â€”â€”å®ƒå†³å®šå ˆå‰è§è¿‡çš„ token 与当前正在处理的 token æœ‰å¤šç›¸å ³â€”â€”ä¾èµ–ä¸‰ç§ä¸åŒçš„å‘é‡ï¼Œå®ƒä»¬çš„åç§°æ¥è‡ªæ•°æ®åº“è®¾è®¡ï¼šquery、key 和 value。对于每个 token，query 捕捉该 token“在寻找什么”，key 捕捉它“提供什么”，value æºå¸¦å®ƒå°†ä¼ é€’çš„å®žé™ ä¿¡æ¯ã€‚ç›¸å ³æ€§é€šè¿‡å°†å½“å‰ token 的 query ä¸Žæ¯ä¸ªå ¶ä»– token 的 key è¿›è¡Œæ¯”è¾ƒæ¥è®¡ç®—ï¼›åŒ¹é è¶ŠæŽ¥è¿‘ï¼Œè¯¥ token 的 value 对注意力输出的贡献就越大。这些向量中的每一个都通过将 token ä¹˜ä»¥ä¸€ä¸ªå­¦ä¹ åˆ°çš„æƒé‡æŠ•å½±çŸ©é˜µæ¥äº§ç”Ÿã€‚Transformer 一次输出一个 token，而每个输出 token éƒ½ä¼šæˆä¸ºæ–°çš„è¾“å ¥ï¼Œå› æ­¤ä¸Šä¸‹æ–‡ä¹Ÿä¸€æ¬¡å¢žé•¿ä¸€ä¸ª token。为节省计算，Transformer å› æ­¤å°†æ¯ä¸ªæ–°è¾“å ¥çš„ key 和 value 投影存储在“KV ç¼“å­˜â€ä¸­ã€‚ä¸¤ç±»å† å­˜å±‚ï¼šeidetic 与 fading。注意力机制赋予 Transformer 我们所说的 eidetic 记忆：对每个过去 token 的逐字回忆。能够在 LLM çš„æ•´ä¸ªä¸Šä¸‹æ–‡çª—å£å† è¿›è¡Œå›žå¿†ï¼Œæ­£æ˜¯ä¸Šä¸‹æ–‡å­¦ä¹ ã€é•¿æ–‡æ¡£æŽ¨ç†å’Œæ£€ç´¢å¢žå¼ºç”Ÿæˆæˆä¸ºå¯èƒ½çš„åŽŸå› ã€‚ä½†å®ƒçš„æˆæœ¬éšè¾“å ¥ token æ•°é‡å¢žé•¿ã€‚ç„¶è€Œï¼Œå¹¶éžæ‰€æœ‰æ³¨æ„åŠ›å±‚éƒ½åšåŒæ ·çš„å·¥ä½œã€‚æœ‰äº›æ‰§è¡Œè·¨è¶Šæ•°ä¸‡ token 的长程检索。另一些则更偏局部，跟踪当前从句、复制附近 token 等等。局部层不需要不断增长的缓存：一个紧凑、固定大小的过去摘要——我们称之为 fading è®°å¿†â€”â€”å°±è¶³å¤Ÿäº†ã€‚æ··åˆæ¨¡åž‹å°†ä¸¤è€ æ··åˆï¼šå¯¹éœ€è¦å ¨å±€å›žå¿†çš„å±‚ä½¿ç”¨æ³¨æ„åŠ›å±‚ï¼ˆeideticï¼Œç¼“å­˜å¢žé•¿ï¼‰ï¼Œå ¶ä½™å±‚ä½¿ç”¨çŠ¶æ€ç©ºé—´å±‚ï¼ˆfadingï¼Œå›ºå®šå¤§å°ï¼‰ã€‚ç»“æžœæ˜¯ä¸€ä¸ªå† å­˜å ç”¨é™ä½Žã€åŒæ—¶åœ¨å ³é”®ä¹‹å¤„ä»èƒ½è¿›è¡Œé€å­—å›žå¿†çš„æ¨¡åž‹ã€‚Primingï¼šçŸ¥è¯†å¹¶ä¸é”å®šäºŽæž¶æž„ã€‚æŽ¢ç´¢æ··åˆæ¨¡åž‹çš„è®¾è®¡ç©ºé—´ä¸€ç›´ä¸åˆ‡å®žé™ ï¼Œå› ä¸ºæ¯ä¸ªæ··åˆé ç½®é€šå¸¸éƒ½éœ€è¦ä»Žå¤´é¢„è®­ç»ƒã€‚Priming 通过复用预训练 Transformer 权重中存储的知识来绕开这一点。Priming ä¹‹æ‰€ä»¥å¯è¡Œï¼Œæ˜¯å› ä¸º Transformer 本身就是状态空间实现的一个特例。注意力层和 SSM 层的输出都可以表示为 value 序列乘以一个“混合”矩阵的结果，该矩阵决定每个过去 token 对每个当前 token 的贡献程度。注意力通过将 query 和 key 矩阵相乘来计算混合矩阵；SSM åˆ™é€šè¿‡ä¸€ä¸ªæ‰€æœ‰è¿‡åŽ»ä¿¡æ¯éƒ½å¿ é¡»ç»è¿‡çš„å›ºå®šç»´åº¦å¾ªçŽ¯çŠ¶æ€äº§ç”Ÿç±»ä¼¼è¾“å‡ºã€‚Priming åˆ©ç”¨äº†è¿™ç§ç»“æž„ç›¸ä¼¼æ€§ï¼šå¦‚æžœä¸€ä¸ªå ·æœ‰å›ºå®šç»´åº¦çŠ¶æ€çš„ SSM 能够产生一个足够接近注意力层的混合矩阵，那么源 Transformer 的 query、key 和 value 投影就可以复用为 SSM è‡ªèº«çš„è¾“å ¥æŠ•å½±ï¼Œåªéœ€è¦å­¦ä¹ SSM ç‰¹æœ‰çš„å‚æ•°ã€‚è¿™ç§è¿‘ä¼¼æ˜¯å¦æˆç«‹ï¼Œå–å†³äºŽè¯¥æ³¨æ„åŠ›å±‚æ‰§è¡Œçš„æ˜¯å¤æ‚çš„é•¿ç¨‹æ£€ç´¢è¿˜æ˜¯ç®€å•çš„å±€éƒ¨æ“ä½œã€‚æˆ‘ä»¬ç”¨ä¸€ä¸ªå»‰ä»·çš„ç»éªŒä»£ç†æ¥åŒºåˆ†ä¸¤è€ ï¼šå°†æ¯ä¸€å±‚æ›¿æ¢ä¸º SWA——它只保留上下文的一部分——并测量性能退化。能够容忍这种替换的层，是 SSM è½¬æ¢çš„è‡ªç„¶å€™é€‰ï¼šå®ƒä»¬çš„æ··åˆçŸ©é˜µä¸éœ€è¦æ•æ‰é•¿ç¨‹å ³ç³»ï¼Œå› æ­¤ SSM çš„çŠ¶æ€å¯ä»¥å¿ å®žè¡¨ç¤ºå®ƒä»¬æ‰€åšçš„äº‹æƒ ã€‚è¿™ä¸ªä»£ç†ä¸ŽåŠ¨åŠ›ç³»ç»Ÿç†è®ºä¸­çš„ä¸€ä¸ªå½¢å¼åŒ–é‡ç›¸å ³ï¼Œå³è¯¥å±‚æ··åˆçŸ©é˜µçš„ Hankel ç§©ï¼Œå®ƒè¡¡é‡å¿ é¡»é€šè¿‡çŠ¶æ€ç“¶é¢ˆçš„ä¿¡æ¯é‡ï¼Œå› æ­¤ä¹Ÿè¡¡é‡ç²¾ç¡®å®žçŽ°è¯¥å±‚æ‰€éœ€çš„æœ€å° SSM 状态维度。Priming åˆ†ä¸‰ä¸ªé˜¶æ®µè¿›è¡Œï¼šå±‚é€‰æ‹©ï¼šç¡®å®šå“ªäº›å±‚å¯ä»¥è¢«å¿ å®žåŽ‹ç¼©ä¸ºå›ºå®šå¤§å°çŠ¶æ€ï¼ŒåŒæ—¶å°†å ¶ä½™å±‚ä¿ç•™ä¸ºæ³¨æ„åŠ›ï¼›æƒé‡è¿ç§»ä¸Žå¯¹é½ï¼šä»Žå¯¹åº”çš„æ³¨æ„åŠ›æƒé‡åˆå§‹åŒ– SSM 层，然后运行一个简短的蒸馏过程，使每个 SSM å¯¹é½åˆ°å®ƒæ‰€æ›¿æ¢å±‚çš„è¡Œä¸ºï¼›ç«¯åˆ°ç«¯é€‚é ï¼šåœ¨ä¸‹ä¸€ token é¢„æµ‹ä¸Šå¾®è°ƒæ•´ä¸ªæ··åˆæ¨¡åž‹ï¼Œè®©æ‰€æœ‰å±‚å ±åŒé€‚é ã€‚æ•´ä¸ªæµç¨‹æ¶ˆè€—çš„ token 预算不到源模型预训练的 0.5%，并且适用于不同 Transformer 家族（Qwen、Llama、Mistral）、模型类别（dense 或 MoE）以及规模（80 亿到 320 亿甚至更多）。借助 primingï¼Œæˆ‘ä»¬çŽ°åœ¨å¯ä»¥å»‰ä»·ä¸”ç³»ç»Ÿåœ°æŽ¢ç´¢è®¾è®¡ç©ºé—´ã€å±‚ç±»åž‹ã€æ··åˆæ¯”ä¾‹å’Œå±‚æ”¾ç½®ï¼Œå› ä¸ºä¸Žé¢„è®­ç»ƒç›¸æ¯”ï¼Œæ¯ä¸ªå˜ä½“éƒ½ä»Žç›¸åŒçš„å¼ºåˆå§‹åŒ–å¼€å§‹ï¼Œå¹¶ä¸”åªéœ€è¦æžå°‘çš„è®­ç»ƒã€‚å¯¹ fading 记忆层的受控比较。例如，考虑这个问题：在相同数据、相同训练预算、相同 eidetic 与 fading 层比例下，哪种 SSM 层在混合模型中效果最好？在我们的论文中，我们评估了三类状态空间模型，每一类代表一种使用固定大小状态的不同方法：Mamba-2 åœ¨æ¯ä¸€æ­¥å¯¹æ•´ä¸ªçŠ¶æ€æ–½åŠ ç»Ÿä¸€çš„æ ‡é‡è¡°å‡ï¼Œè¿™æ˜¯ä¸€ç§ä»¥ç›¸åŒé€ŸçŽ‡é—å¿˜ä¸€åˆ‡çš„è¿è¡Œå¹³å‡ã€‚å½“æ–° token åˆ°è¾¾æ—¶ï¼Œå®ƒè¢«å†™å ¥çŠ¶æ€ï¼Œè€Œæ‰€æœ‰å ˆå‰æ¡ç›®è¢«ç»Ÿä¸€è¡°å‡ã€‚Mamba-2 ç®€å•é«˜æ•ˆï¼Œä½†ä¸åŠ åŒºåˆ†ã€‚Gated DeltaNet（GDNï¼‰åœ¨ç»Ÿä¸€è¡°å‡ä¹‹ä¸Šå¢žåŠ äº†æœ‰é’ˆå¯¹æ€§çš„æ›´æ–°ã€‚å®ƒä¸æ˜¯ç»Ÿä¸€è¡°å‡ä¸€åˆ‡ï¼Œè€Œæ˜¯åœ¨å†™å ¥æ–°å€¼ä¹‹å‰ï¼Œå¯ä»¥é€‰æ‹©æ€§åœ°æ“¦é™¤å ˆå‰ä¸Žç‰¹å®š key å ³è”çš„ value（delta 规则）。这使它比 Mamba-2 æ›´å ·è¡¨è¾¾åŠ›ï¼šå®ƒå¯ä»¥ä¿®è®¢ç‰¹å®šå ³è”ï¼Œè€Œä¸å¿ ç»Ÿä¸€è¡°å‡å ¶ä½™éƒ¨åˆ†ã€‚Gated KalmaNet（GKAï¼‰æ›´è¿›ä¸€æ­¥ã€‚å®ƒçš„æ“¦é™¤æ–¹å‘ä¸ä» å–å†³äºŽå½“å‰ key，还取决于所有过去 key 的统计量，这是一种历史感知更新，考虑了模型所见一切的累积结构。理论表达力层级预测了经验层级：GKA > GDN > Mamba-2ã€‚è¿™ç§å·®è·åœ¨é•¿ä¸Šä¸‹æ–‡æŽ¨ç†ä¸­æ‰©å¤§ï¼Œå› ä¸ºåŽ‹ç¼©è´¨é‡åœ¨é‚£é‡Œæœ€é‡è¦ï¼Œè€Œåœ¨çŸ­ä¸Šä¸‹æ–‡ä»»åŠ¡ä¸­ç¼©å°ã€‚æ­¤å¤–ï¼Œåœ¨ 320 亿参数（32B）规模下，混合 GKA 与在相同数据上训练的源 Transformer 相差不到 1%，尽管推理时只需要一半的 KV 缓存。Fading è®°å¿†èƒœè¿‡é€å­—çª—å£è®°å¿†ã€‚æˆ‘ä»¬ç ”ç©¶ä¸­çš„ä¸€ä¸ªæœ‰è¶£å‘çŽ°æ¥è‡ªå¯¹ä½¿ç”¨ SSM 层的混合模型与使用滑动窗口注意力（SWAï¼‰çš„æ··åˆæ¨¡åž‹çš„ç›´æŽ¥æ¯”è¾ƒï¼ŒåŽè€ é€å­—ä¿ç•™æœ€è¿‘ token çš„å›ºå®šçª—å£ï¼Œè€Œä¸æ˜¯å°†è¿‡åŽ»åŽ‹ç¼©ä¸ºçŠ¶æ€ã€‚äººä»¬å¯èƒ½ä¼šè®¤ä¸ºï¼Œé€å­—å›žå¿†å³ä½¿åœ¨æœ‰é™çª—å£å† ï¼Œä¹Ÿä¼šä¼˜äºŽæœ‰æŸåŽ‹ç¼©ã€‚æ¯•ç«Ÿï¼Œåœ¨æ»‘åŠ¨çª—å£èŒƒå›´å† æ²¡æœ‰ä¿¡æ¯ä¸¢å¤±ã€‚è€Œä¸”å †å å¤šä¸ª SWA å±‚ä¼šå¢žåŠ ç«¯åˆ°ç«¯æ¨¡åž‹çš„â€œæ„Ÿå—é‡Žâ€ã€‚ç›¸åï¼Œæˆ‘ä»¬æµ‹è¯•çš„æ¯ä¸€ä¸ªåŸºäºŽ SSM 的混合模型在长上下文基准上都优于对应的 SWA æ··åˆæ¨¡åž‹ï¼Œå³ä½¿çª—å£èŽ·å¾—çš„çŠ¶æ€å† å­˜æ˜¯çŠ¶æ€çš„ä¸¤åˆ°å››å€ã€‚é€Ÿåº¦ä¸Žå‡†ç¡®çŽ‡çš„è¿è¡Œæ—¶æ—‹é’®ï¼šæŽ¨ç†æ—¶çš„å¯å˜è®¡ç®—ã€‚GKA å ·æœ‰ Mamba-2 和 GDN éƒ½ä¸å ·å¤‡çš„ç‰¹æ€§ï¼šå¯å˜æµ‹è¯•æ—¶è®¡ç®—ã€‚Mamba-2 和 GDN å¯¹æ¯ä¸ªè¾“å ¥ token éƒ½æœ‰ç›¸åŒçš„è®¡ç®—é¢„ç®—ï¼Œæ— è®ºå ¶å† å®¹å¦‚ä½•ã€‚ç›¸æ¯”ä¹‹ä¸‹ï¼ŒGKA è¿­ä»£åœ°æ±‚è§£ä¸€ä¸ªå›žå½’é—®é¢˜ï¼Œå¹¶ä¸”è¿­ä»£æ¬¡æ•°å¯ä»¥åœ¨æœåŠ¡æ—¶è°ƒæ•´è€Œæ— éœ€é‡æ–°è®­ç»ƒã€‚åœ¨å®žè·µä¸­ï¼Œä»¥ 10 次迭代而不是通常的 30 次来服务 GKA，会在 AIME 2025 上牺牲大约 1% 的准确率，同时带来 10% æ›´å¿«çš„è§£ç ã€‚ä¸€ä¸ªè®­ç»ƒå¥½çš„æ¨¡åž‹å¯ä»¥æœåŠ¡é€Ÿåº¦-å‡†ç¡®çŽ‡å‰æ²¿ä¸Šçš„å¤šä¸ªç‚¹ï¼Œå› æ­¤æ¨¡åž‹æä¾›å•†å¯ä»¥æä¾›ä¸åŒçš„å»¶è¿Ÿå±‚çº§ï¼Œè€Œæ— éœ€ç»´æŠ¤å•ç‹¬çš„æ¨¡åž‹å˜ä½“ã€‚è¿™ä¸Žæˆ‘ä»¬åœ¨æ—©æœŸå·¥ä½œä¸­è®¨è®ºè¿‡çš„ä¸€ä¸ªåŽŸåˆ™ç›¸å ³ï¼šæ™ºèƒ½æ˜¯ä»¥ä¸Žéš¾åº¦ç›¸ç§°çš„æ–¹å¼åˆ†é åŠªåŠ›çš„èƒ½åŠ›ã€‚GKA çš„å¯å˜è®¡ç®—æœºåˆ¶æ˜¯è¿™ä¸€åŽŸåˆ™çš„æž¶æž„ä½“çŽ°ï¼šè¦æ±‚é€Ÿåº¦çš„éƒ¨ç½²å¯ä»¥è¿è¡Œæ›´å°‘è¿­ä»£ï¼Œè€Œè¦æ±‚å‡†ç¡®çŽ‡çš„éƒ¨ç½²å¯ä»¥è¿è¡Œæ›´å¤šè¿­ä»£ã€‚æ›´å¿«çš„æŽ¨ç†ï¼Œè€Œä¸ä» ä» æ˜¯æ›´å¿«çš„ token。原始每 token åžåé‡åªèƒ½è¯´æ˜Žéƒ¨åˆ†æƒ å†µã€‚ä¸€ä¸ªæ¯ token æˆæœ¬æ›´ä½Žçš„æ¨¡åž‹ï¼Œå¦‚æžœå ¶æŽ¨ç†æ›´å¼±ã€éœ€è¦æ›´å¤š token æ¥è¡¥å¿ï¼Œç«¯åˆ°ç«¯ä»å¯èƒ½æ›´æ ¢ã€‚ä¸Žéƒ¨ç½²ç›¸å ³çš„é—®é¢˜æ˜¯ï¼Œä»¥å¢™é’Ÿæ—¶é—´è¡¡é‡ï¼Œæ··åˆæ¨¡åž‹è¾¾åˆ°ç›®æ ‡å‡†ç¡®çŽ‡è¦å¿«å¤šå°‘ã€‚æˆ‘ä»¬åœ¨ AIME 2025 è¿™ä¸€å ·æœ‰æŒ‘æˆ˜æ€§çš„æ•°å­¦ç«žèµ›åŸºå‡†ä¸Šæµ‹é‡äº†è¿™ä¸€ç‚¹ï¼Œå°†æˆ‘ä»¬çš„ GKA-Primed-HQwen3-32B-Reasoner ä¸Žåœ¨ç›¸åŒæŽ¨ç†é æ–¹ä¸Šè®­ç»ƒçš„æº Qwen3-32B 进行比较。两个模型生成相似长度的思考轨迹（完整集上中位数约 14,000 token，最难问题上为 28,000 tokenï¼‰â€”â€”ä¹Ÿå°±æ˜¯è¯´ï¼Œå®ƒä»¬äº§ç”ŸåŒæ ·æ·±å ¥çš„å›žç­”â€”â€”ä½†æ··åˆæ¨¡åž‹çš„åžåé‡é«˜å¾—å¤šã€‚åœ¨çŽ°å®žå¹¶å‘æ°´å¹³ä¸‹ï¼Œå½“ Transformer 的 KV 缓存使 GPU å† å­˜é¥±å’Œæ—¶ï¼Œæ··åˆæ¨¡åž‹åœ¨å®Œæ•´åŸºå‡†ä¸Šè¾¾åˆ°ç›®æ ‡å‡†ç¡®çŽ‡é˜ˆå€¼æ‰€éœ€æ—¶é—´å¿« 1.2 到 1.4 倍，在最难问题上最高快 1.6 倍。这是 SSM å±‚å›ºå®šå¤§å°çŠ¶æ€çš„ç»“æžœï¼Œå®ƒå°†æ¯åºåˆ—å† å­˜å ç”¨å¤§è‡´å‡åŠï¼Œä½¿åŒä¸€ç¡¬ä»¶ä¸Šèƒ½å¤Ÿè¿›è¡Œæ›´å¤šå¹¶å‘æ“ä½œã€‚åžåé‡ä¼˜åŠ¿éšä¸Šä¸‹æ–‡é•¿åº¦å¢žé•¿ï¼š32B 模型（GKA 10 次迭代）在 16K token 时为 1.50×，到 128K 时扩展到 2.06×。对于 8B 参数模型，收益更大：从 16K 时的 1.94× 到 128K 时的 2.29×。在长上下文下，KV 缓存读取主导 Transformer çš„å‰å‘ä¼ æ’­ï¼Œè€Œåœ¨å† å­˜é¥±å’Œæ—¶å°†ç¼“å­˜å‡åŠå¤§è‡´å¯ä½¿æœ‰æ•ˆæ‰¹å¤§å°ç¿»å€ã€‚è¿™ä¸ä» å¯¹æŽ¨ç†æœåŠ¡æœ‰å½±å“ã€‚åœ¨å¼ºåŒ–å­¦ä¹ ï¼ˆRL）后训练流程中，吞吐量决定策略生成正确轨迹的速度。混合模型的优势直接转化为在固定 GPU 预算下 RL 训练数据速率提高 20% 到 100%ã€‚è¶ è¶Šè®­ç»ƒçª—å£ï¼šé€šè¿‡çŠ¶æ€ç»„åˆæ‰©å±•ä¸Šä¸‹æ–‡ã€‚æˆ‘ä»¬çš„ primed 混合模型原生支持 128,000 tokenã€‚ä½†æ™ºèƒ½ä½“ä¼šè¯ã€ä»£ç åº“å’Œé•¿æ³•å¾‹æ–‡ä»¶ç»å¸¸è¶ è¿‡è¿™ä¸€é•¿åº¦ã€‚è¿›ä¸€æ­¥æ‰©å±•ä¸Šä¸‹æ–‡é€šå¸¸éœ€è¦åœ¨ç²¾é€‰æ•°æ®ä¸Šè¿›è¡Œå¦ä¸€è½®æŒç»­é¢„è®­ç»ƒã€‚æ··åˆæž¶æž„æœ¬èº«èƒ½å¦åœ¨æ²¡æœ‰é¢å¤–è®­ç»ƒçš„æƒ å†µä¸‹æ³›åŒ–åˆ°æ›´é•¿ä¸Šä¸‹æ–‡ï¼ŸçŽ°æœ‰çš„æ— éœ€è®­ç»ƒæ‰©å±•ä¸Šä¸‹æ–‡çª—å£çš„æ–¹æ³•åˆ†ä¸ºä¸¤ç±»ï¼šç”¨äºŽçº¯ Transformer 的方法（如 YaRN è¿™æ ·çš„ä½ç½®åµŒå ¥é‡ç¼©æ”¾æ–¹æ¡ˆï¼‰å’Œç”¨äºŽçº¯ SSM çš„æ–¹æ³•ï¼Œä¾‹å¦‚æˆ‘ä»¬åŽ»å¹´åœ¨å›½é™ å­¦ä¹ è¡¨å¾ä¼šè®®ï¼ˆICLR）上提出的 PICASOã€‚ä¸¤è€ éƒ½æ²¡æœ‰è§£å†³æ··åˆè®¾ç½®ï¼Œåœ¨æ··åˆè®¾ç½®ä¸­ KV ç¼“å­˜å’Œå¾ªçŽ¯çŠ¶æ€å¿ é¡»è”åˆåè°ƒã€‚åœ¨æˆ‘ä»¬çš„æ–° arXiv è®ºæ–‡ä¸­ï¼Œæˆ‘ä»¬æè¿°äº†ä¸€ç§æ— éœ€è®­ç»ƒå³å¯å°†æ··åˆæ¨¡åž‹ä¸Šä¸‹æ–‡æ‰©å±•åˆ°å ¶åŽŸç”Ÿé™åˆ¶ä¹‹å¤–çš„æ–¹æ³•ã€‚è¿‡ç¨‹å¾ˆç®€å•ï¼šå°†é•¿è¾“å ¥åˆ’åˆ†ä¸ºçŸ­äºŽåŽŸç”Ÿä¸Šä¸‹æ–‡é•¿åº¦çš„å—ï¼Œå¹¶åœ¨æ¯ä¸ªå—å‰æ·»åŠ ä¸€ä¸ªå ±äº«å‰ç¼€ï¼›å¹¶è¡Œç‹¬ç«‹å¤„ç†æ‰€æœ‰å—ï¼›è·¨å—æ‹¼æŽ¥ KV 缓存，同时通过我们在 PICASO è®ºæ–‡ä¸­å¼•å ¥çš„åŠ æƒå¹³å‡æ–¹æ¡ˆåˆå¹¶ SSM 状态。这种方法使我们能够将 primed 混合模型的上下文长度从 128K 扩展到 256K token，同时在模型从未训练过的长度上，在检索（RULER NIAH）和推理（BABILong）任务上保持可观准确率。在我们的实验中，我们表明混合状态组合保留了 SSM 表达力层级（GKA > GDN > Mamba-2）。混合设计空间现已开放。本博客中讨论的所有工件均以 Apache 2.0 许可证发布在我们的 GitHub Hybrid Model Factory 和 HuggingFace 模型库中：一组用于长上下文推理和指令遵循的 primed 混合模型（8B 和 32B）；priming è®­ç»ƒä»£ç ï¼›ç”¨äºŽ SSM 层的点对点序列并行算法（在多节点规模下比基于 all-to-all 的替代方案最高快 2.3 å€ï¼‰ï¼›é€šç”¨åºåˆ—å¹¶è¡Œï¼Œç”¨äºŽåœ¨é•¿åºåˆ—ä¸ŠåŽŸåž‹è®¾è®¡æ–°å±‚ï¼Œè€Œæ— éœ€è‡ªå®šä¹‰å† æ ¸æˆ–åˆ†å¸ƒå¼è®­ç»ƒä¸“ä¸šçŸ¥è¯†ï¼›ç”¨äºŽ GKA è§£ç å’Œè®­ç»ƒçš„ä¼˜åŒ– Triton å† æ ¸ï¼›ä¸€ä¸ª vLLM 服务插件，支持 primed æ··åˆæž¶æž„ï¼Œå ·å¤‡è¿žç»­æ‰¹å¤„ç†ã€åˆ†å—é¢„å¡«å å’Œå¼ é‡å¹¶è¡Œï¼Œç”¨äºŽå¤§è§„æ¨¡æŽ¨ç†éƒ¨ç½²ã€‚å¦‚æžœä½ æœåŠ¡é•¿ä¸Šä¸‹æ–‡å·¥ä½œè´Ÿè½½ï¼Œå¸¦æœ‰ vLLM 插件的 32B GKA æŽ¨ç†æ¨¡åž‹å¯åœ¨é•¿ä¸Šä¸‹æ–‡æŽ¨ç†ä»»åŠ¡ä¸Šä¸ºä½ æä¾›æ›´é«˜åžåé‡ä¸”æ— è´¨é‡æŸå¤±ã€‚å¦‚æžœä½ æ­£åœ¨æ‰©å±• RL 后训练，混合模型的吞吐量优势意味着在固定 GPU 预算下每单位时间有更多正确 rolloutï¼Œä»Žè€Œåœ¨ä¸æ”¹å˜è®­ç»ƒé æ–¹çš„æƒ å†µä¸‹æ›´å¿«è¿›è¡Œç­–ç•¥è¿­ä»£ã€‚å¦‚æžœä½ æ­£åœ¨ç ”ç©¶æ–°æž¶æž„ï¼Œpriming è®©ä½ èƒ½å¤Ÿä»¥é¢„è®­ç»ƒæˆæœ¬çš„ä¸€å°éƒ¨åˆ†ï¼Œåœ¨å—æŽ§æ¡ä»¶ä¸‹è¯„ä¼°ä»»ä½•å±‚ç±»åž‹ï¼ŒåŒæ—¶ä»Žå¼ºåˆå§‹åŒ–å¼€å§‹ã€‚é€šç”¨ SP æ¨¡å—æ„å‘³ç€ä½ ä¸éœ€è¦è‡ªå®šä¹‰åˆ†å¸ƒå¼å† æ ¸å³å¯åœ¨é•¿ä¸Šä¸‹æ–‡ä¸‹è®­ç»ƒã€‚Priming 不绑定于特定 Transformer å®¶æ—æˆ–æ¨¡åž‹ç±»åˆ«ã€‚å°†å ¶æ‰©å±•åˆ° Llama、Mistral 或 MoE æ¨¡åž‹æ— éœ€ç®—æ³•æ›´æ”¹ã€‚æˆ‘ä»¬å¸Œæœ›è¿™äº›å·¥å ·èƒ½è®©ç¤¾åŒºæŽ¢ç´¢æˆ‘ä»¬æµ‹è¯•ä¹‹å¤–çš„æž¶æž„ï¼Œå¹¶å¼€å‘æ–°çš„ç®—æ³•å’Œè®­ç»ƒé æ–¹ï¼Œä¸º AI 智能体构建可扩展的下一代架构。完整细节请参见我们的论文《Priming: Hybrid state space models from pre-trained Transformersã€‹ã€‚ä»£ç ã€æ¨¡åž‹å’ŒæœåŠ¡æ’ä»¶å¯åœ¨ GitHub 上获取，模型也在 Hugging Face 上。

来源： Amazon Science · amazon.science

推理能力

开源生态

è®ºæ–‡ç ”ç©¶

#

论文/ç ”ç©¶

推理