T
traeai
登录

概念

Mixture-of-Experts

别名:MoE

通过专家网络实现参数高效利用的模型架构

已跟踪 5 条高相关材料

TraeAI 观察

相关材料

已收录 5 条与 Mixture-of-Experts 相关的内容,按评分排序。

Inside the Model Factory — Eiso Kant, Poolside AI

Inside the Model Factory — Eiso Kant, Poolside AI

Latent Space27049 字 (约 109 分钟)
85

Poolside AI通过模型工厂技术实现高效训练,其Laguna S 2.1模型以118B参数规模超越竞品,揭示AGI研发路径与工程实践细节。

入选理由:模型工厂支持每月10,000–20,000次实验,实现8周内完成模型从预训练到发布的全流程

精选文章#AI模型#模型工厂#AGI#Poolside AI中英混合
Hugging Face Blog 图标

Introducing North Mini Code: Cohere’s First Model For Developers

Hugging Face Blog2871 字 (约 12 分钟)
85

Cohere 发布 North Mini Code,一个 30B 参数的 Mixture-of-Experts 模型,专为开发者设计,在多个代码生成基准测试中表现优异。

入选理由:North Mini Code 是 Cohere 首个专为开发者设计的模型,参数量为 30B,其中 3B 为活跃参数。

精选文章#Cohere#模型#代码生成#Mixture-of-Experts#AI英文
Nemotron 3 Ultra is coming.

Nemotron 3 Ultra 即将推出

NVIDIA Developer395 字 (约 2 分钟)
85

Nemotron 3 Ultra是NVIDIA推出的开源AI模型,基于SSM和Mixture of Experts混合架构,推理速度比现有最佳开源模型快5倍,运行成本降低30%。

入选理由:Nemotron 3 Ultra采用SSM与Mixture of Experts混合架构,推理速度比现有最佳开源模型快5倍。

精选视频#NVIDIA#AI模型#开源#SSM#Mixture of Experts英文
Scaling the Next Paradigm of Heterogeneous Intelligence — Adrian Bertagnoli, Callosum

扩展异构智能的新范式

AI Engineer2811 字 (约 12 分钟)
78

异构智能是未来AI发展的关键范式,通过融合不同架构、规模和硬件的模型协同工作,提升复杂问题解决效率。

入选理由:当前AI发展正从同质化向异构化演进,如Mixture of Experts和多代理系统已初现端倪。

精选视频#AI#异构计算#多代理系统#模型架构#硬件加速英文

跨材料问答 · Mixture-of-Experts

回答基于:Mixture-of-Experts 相关 5 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容