Hacker News Best

DeepSeek just open-sourced its inference engine

6.9内容质量

TL;DR · AI 摘要

GitHub - deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models · GitHu...

核心要点

  • 主题聚焦：DeepSeek just open-sourced its inference engine
  • 来源：Hacker News Best，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#安全#产品#开源
打开原文

GitHub - deepseek-ai/DeepInfer: DeepInfer: 面向 DeepSeek 模型的高性能、大规模推理框架 · GitHub

DeepInfer

DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架。该开源版本提供离线推理功能，包含实现大规模服务所需的核心特性。

支持的模型：

  • DeepSeek-V4.1-Flash

支持的特性：

  • 优化内核、模型和采样器运行时
  • 并行计算：Attention DP / balanced CP，MoE EP + EPLB
  • DSpark 和置信度调度验证
  • SWA 有界重放
  • 异步调度（零开销批量调度器）
  • 批处理不变推理
  • 确定性采样
  • 结构化输出

特性详情与配置：

  • 优化内核：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 和自定义 TileLang 内核
  • DSpark 和置信度调度验证：通过草稿 token 加速解码，使用置信度估计调度验证。设置 DEEPINFER_ENABLE_MTP_VARLEN=1；DEEPINFER_USE_NEXTN_DECODE 控制最大草稿长度（默认：5）
  • 译码器 SWA 有界重放：通过仅重放有界后缀减少译码器预填充工作。设置 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 和 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 以使用 V4.1 默认配置；保留的后缀必须覆盖 SWA 窗口加上最大回溯长度
  • 异步调度：将 CPU 批处理调度与设备执行重叠。默认启用
  • 批处理不变推理：在不同批处理组合下保持模型结果一致。通过设置 DEEPINFER_BATCH_INVARIANT=1 启用（仅限 NVIDIA）
  • 确定性采样：对于相同的输入 token 和采样参数生成相同输出。设置 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 并向 SamplingParams 传递固定 seq_seed（仅限 NVIDIA）
  • 结构化输出：将生成内容限制为正则表达式、JSON schema 或 EBNF 语法。向 SamplingParams 传递 so_args={"schema_type": ..., "schema": ...}；参见示例

支持的硬件：

  • NVIDIA SM100 GPU
  • 华为昇腾 950 NPU

完整推理服务所需（本版本未包含）：

  • KV 缓存系统
  • VE/Prefill/Decode 解耦（大部分核心引擎功能已实现）
  • 预填充和解码阶段在数据并行副本间的负载均衡

入门指南

先决条件

  • Linux
  • GCC >= 13.0
  • Python 3.12
  • CUDA 13（仅限 NVIDIA）
  • CANN 9.2（仅限昇腾）

从源代码构建

构建 DeepInfer 前，请创建并激活一个空的 Python 3.12 环境。

code
#
昇腾平台请使用 `ascend` 替代
#
在运行 DeepInfer 的环境中保持该变量导出
export
DEEPINFER_ACCELERATOR=nvidia
./build.sh

离线推理

默认检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017 会在首次运行时下载到 Hugging Face 缓存；设置 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 可改用本地副本运行。

code
python examples/offline_inference.py

详细信息请参见示例。

性能基准测试

预填充

解码

在 4 块 SM100 GPU 上进行预填充测试，在 64 块 GPU 上进行解码测试——所有测试均在单个扩展域内完成。要复现基准测试，请参见 run_sweep.sh。

评估基准测试

请参见 eval/README.md。

许可证

DeepInfer 采用 Apache License 2.0 发布。详细信息请参见 LICENSE。

致谢

DeepInfer 最初主要基于 vLLM 构建，并受到 SGLang 和 TensorRT-LLM 的启发。我们感谢这些项目的开发者。

引用

code
@misc
{
deepinfer2026
,
title
=
{
DeepInfer: High-performance, large-scale inference framework for DeepSeek models
}
,
author
=
{
DeepSeek-AI
}
,
year
=
{
2026
}
,
publisher
=
{
GitHub
}
,
howpublished
=
{
\url{https://github.com/deepseek-ai/DeepInfer}
}
,
}