T
traeai
登录

概念

RoPE

别名:Rotary Position Embedding

通过旋转位置编码实现长距离依赖建模的技术

已跟踪 3 条高相关材料

TraeAI 观察

相关材料

已收录 3 条与 RoPE 相关的内容,按评分排序。

英伟达清华团队提出Gamma-World:世界模型从「一个人玩」到「多人共处」

Gamma-World通过正单纯形编码与稀疏枢纽注意力,系统解决多智能体世界建模架构缺陷,FVD平均下降超40%,支持双人训练四人零样本泛化及24 FPS实时推演。

入选理由:采用正单纯形(regular simplex)编码玩家身份,实现任意玩家间几何等距,支持零样本扩展至更多玩家且无需重训

精选文章#世界模型#多智能体#Transformer#NVIDIA#清华中文
英伟达清华团队提出Gamma-World:世界模型从「一个人玩」到「多人共处」

Gamma-World通过正单纯形编码与稀疏枢纽注意力,系统性解决多智能体世界建模难题,实现2人训练→4人零样本泛化与24 FPS实时推演,FVD平均下降超40%。

入选理由:采用正单纯形(regular simplex)编码实现玩家身份等距、无参数、可扩展,支持训练时2人→推理时4人零样本泛化

精选文章#世界模型#多智能体#Transformer#NVIDIA#清华中文
斯坦福大学 2026 秋季新课 CME 295: Transformers & Large Language Models 已开课(第二讲公开)

@stanfordnlp 这门课程由双胞胎兄弟 @a...

斯坦福LLM课程系统解析Transformer演进与大模型优化技术,覆盖从架构到训练的完整知识体系。

入选理由:现代LLM几乎全部采用Decoder-only架构(如GPT、Qwen)

精选推文#Transformer#LLM#RoPE#Flash Attention#斯坦福中文

跨材料问答 · RoPE

回答基于:RoPE 相关 3 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容