前伯克利博士、现 xAI SGLang 负责人,用 23 分钟讲清楚他们如何在 10 万张 GPU 上部署 Grok 拆分 Prefill 和 Decode → 将 MoE 专家分片到不同 GPU ...
AI Will(@FinanceYF5)191 字 (约 1 分钟)
85
xAI团队通过拆分Prefill和Decode、MoE专家分片及通信计算重叠,实现Grok在10万张GPU上的高效部署。
入选理由:拆分Prefill和Decode是实现大规模GPU部署的关键步骤
精选推文#Grok#MoE#GPU部署#xAI#SGLang中英混合