产品
支持自定义GPU内核的推理框架
最近变化
2026-10-20 · TorchTPU使TPU成为原生PyTorch设备，支持自定义Pallas内核
SGLang 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
已收录 19 篇与「SGLang」相关的 AI 资讯和分析。
图像生成布局能力被 Reve 2 与 Ideogram 4 同步突破，后者登顶公开图像模型榜单；微软发布 MAI-Thinking-1，AIME 2025 97% 且无合成数据、无蒸馏，公开训练细节与 MoE 阶梯；开源侧 Gemma 4 12B 等多款模型升级，强化本地优先部署。
入选理由：Ideogram 4.0 登顶 Arena 开放图像模型榜单，图像布局能力显著提升。
Google Cloud 发布 llm-d 1.0，通过缓存感知路由和分层 KV 缓存优化多步骤代理推理，支持 TPU/GPU 混合部署。
入选理由：llm-d 1.0 支持 1000 个代理实例并发处理，通过分层 KV 缓存降低 40% 内存占用
Google推出基于TPU的vLLM和SGLang推理引擎，通过TorchTPU实现PyTorch原生支持，优化大模型服务性能。
入选理由：TorchTPU使TPU成为原生PyTorch设备，支持自定义Pallas内核
Meta发布Muse Spark Open模型，优化支持Apple M5 Ultra及多种推理引擎，提升开发者可访问性。
入选理由：Muse Spark Open可在Apple M5 Ultra Mac Studios运行，兼容MLX框架
Meta发布Muse Spark Open，首个支持在Apple M5 Ultra Mac上运行的816B参数开放权重模型，适用于复杂软件工程和多步骤推理。
入选理由：Muse Spark Open拥有816B总参数（42B激活参数）和1M token上下文窗口
Meta发布816B参数开源模型Muse Spark Open，支持多模态和代理任务，集成Helion内核提升性能。
入选理由：Muse Spark Open拥有816B总参数和1M上下文窗口，专为代码生成优化。
Ollama、vLLM、SGLang三大模型引擎各具优势：Ollama适合本地开发，vLLM擅长高并发服务，SGLang优化多轮对话，Claude水印技术通过概率筛选实现内容溯源。
入选理由：Ollama适用于本地开发，采用FIFO队列和GGUF压缩模型
xAI团队通过拆分Prefill和Decode、MoE专家分片及通信计算重叠，实现Grok在10万张GPU上的高效部署。
入选理由：拆分Prefill和Decode是实现大规模GPU部署的关键步骤
通过SGLang与AMD MI300等技术组合，第三方服务商将推理成本降至DeepSeek官方API的五分之一。
入选理由：使用AMD MI300显卡可降低50%以上推理成本
DeepSeek-V4 与 SGLang 结合，能高效处理大量研究论文，提取关键信息并生成研究地图。
入选理由：DeepSeek-V4-Flash 支持 2B 上下文窗口，适合处理大规模研究论文。
UniRL 是一个统一的强化学习框架，支持多种模态和模型，通过单一训练循环实现跨模型家族的训练。
入选理由：UniRL 使用单一训练循环（generate → score → advantage → update → sync）支持多种模态和模型。
Together推理引擎在编码代理工作负载中比其他开源引擎多提供31%的TPS，并在饱和状态下保持2倍的TTFT优势。性能提升来自全栈优化。
入选理由：ThunderMLA、自定义内核重写和端到端优化使Together引擎比其他OSS引擎多31%的TPS
国产GPU厂商摩尔线程通过开源活动吸引多个大模型推理框架核心开发者。
入选理由：SGLang在12个H100节点上实现52.3k输入token/s/node性能
DeepSeekV4发布，通过组合创新和工程优化，在R1的“测试时扩展”范式下，实现百万上下文从理论到实用的飞跃，对Agent和多步复杂任务具有重要意义。
入选理由：DeepSeek V4沿用现有范式，未带来范式变化，但通过一系列技术创新显著提升了长上下文处理能力。
NVIDIA AI 报告称，SGLang 在 Blackwell 硬件上使用 DeepSeek-V4 模型解码达到 180 tok/s/GPU 的速度，约 1M 上下文，得益于 LMSYS 组织针对 Blackwell 的特定优化，提高了混合稀疏注意力的利用效率。
入选理由：SGLang 在 DeepSeek-V4 解码任务上实现高性能，达 180 tok/s/GPU。
播客深入探讨AI基础设施发展与SGLang开源项目，揭示AI工程化与开源社区的挑战与机遇。
入选理由：SGLang从学术项目发展为生产级开源推理引擎
Google 宣布其模型权重与主流开源生态兼容，可在 Hugging Face 和 Kaggle 直接下载，降低部署门槛。
入选理由：Gemma 4 权重与 llama.cpp、vLLM、Ollama 等生态兼容，便于本地部署与推理。
文章质疑专用推理引擎的突然激增可能碎片化AI生态，但缺乏技术细节与解决方案。
入选理由：过去一个月出现至少5个新专用推理引擎
该推文为旧金山寻找模型优化工程师的招聘信息，涉及spec decoding、GPU kernels等技术。
入选理由：招聘聚焦模型优化领域，包含spec decoding和GPU kernels技术
与「SGLang」经常一起出现的 AI 术语。
💡 想追踪「SGLang」的长期趋势？去 实体雷达 · SGLang 查看详细分析和跨材料问答。
