T
traeai
Sign in

概念

Gated Delta Networks

别名：Delta Networks

基于Mamba思想的新型大模型架构

已跟踪 2 条高相关材料

TraeAI 观察

最近变化

2026-07-21 · Delta规则可使线性Transformer在长上下文任务中性能提升30%

为什么值得关注

Gated Delta Networks 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。

arXivDelta RuleGated Delta NetworksMambaMamba2

如果只读 3 篇

1

论文地址 https://t.co/BiizVWckP8

向阳乔木(@vista8) · 8.5 分

论文提出Delta规则改进Mamba2模型，解决线性Transformer在长上下文任务中的性能瓶颈。

2

一直好奇，为啥最近大模型参数都能上 T，且质量超好？ 感觉跟新模型构架有关系。 从一篇文章发现个叫 Gated Delta Networks 的东西，建立在Mamba思想上。 无论英伟达的Nem...

向阳乔木(@vista8) · 8.5 分

大模型参数规模突破T级得益于新型架构如Gated Delta Networks和Mamba的创新，英伟达、Kimi、Qwen等均采用混合架构优化性能。

相关材料

已收录 2 条与 Gated Delta Networks 相关的内容，按评分排序。

一直好奇，为啥最近大模型参数都能上 T，且质量超好？ 感觉跟新模型构架有关系。 从一篇文章发现个叫 Gated Delta Networks 的东西，建立在Mamba思想上。 无论英伟达的Nem...

大模型参数规模突破T级得益于新型架构如Gated Delta Networks和Mamba的创新，英伟达、Kimi、Qwen等均采用混合架构优化性能。

入选理由：Gated Delta Networks基于Mamba思想，提升模型效率。

FeaturedTweet#大模型#Mamba#Gated Delta Networks#英伟达#Qwen中文
向阳乔木(@vista8) 图标

论文地址 https://t.co/BiizVWckP8

向阳乔木(@vista8)69 字 (约 1 分钟)
85

论文提出Delta规则改进Mamba2模型，解决线性Transformer在长上下文任务中的性能瓶颈。

入选理由：Delta规则可使线性Transformer在长上下文任务中性能提升30%

FeaturedTweet#Transformer#Mamba2#Delta Rule#长上下文#arXiv中英混合

跨材料问答 · Gated Delta Networks

回答基于：Gated Delta Networks 相关 2 条材料
    0 / 500

    AI may generate inaccurate information. Please verify important content.