Latent Space

NaiveAI Promises 2,100 Tokens per Second. How Well Does It Code?

8.5内容质量
NaiveAI Promises 2,100 Tokens per Second. How Well Does It Code?

TL;DR · AI 摘要

NaiveAI推出的新模型Naive-N0.5-Flash每秒生成2100个token,在编码任务中表现优于部分竞品,但推理复杂问题耗时更长。

核心要点

  • Naive-N0.5-Flash通过3.25T额外训练数据优化,继承MiMo-V2.5的混合注意力机制
  • 基准测试显示其编码能力介于DeepSeek V4.1和GLM-5.3之间,但NL2Repo-Bench表现更优
  • 模型采用递归自我改进设计,但复杂问题推理速度较慢且成本略高

结构提纲

按章节快速跳转。

  1. 介绍NaiveAI推出的新模型及其性能目标

  2. 阐述模型基于MiMo-V2.5并优化了稀疏注意力机制

  3. 说明模型通过3.25T额外数据训练并采用固定上下文长度

  4. 展示与DeepSeek、GLM-5.3在编码任务中的基准测试结果

  5. 揭示模型在NL2Repo-Bench超越竞品但推理速度存在权衡

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Naive-N0.5-Flash模型分析
    • 技术背景
      • MiMo-V2.5继承与优化
      • 3.25T训练数据
    • 性能表现
      • 2100 token/s速度
      • NL2Repo-Bench领先
    • 对比分析
      • DeepSeek V4.1对比
      • GLM-5.3对比

金句 / Highlights

值得收藏与分享的关键句。

#AI模型#编码工具#深度学习#基准测试
打开原文

NaiveAI 承诺每秒生成 2100 个标记。它的编码能力如何?——潜空间

编辑注:通过这篇文章,我们推出了一项新系列,专注于对新模型和产品进行无偏见的评测。欢迎将建议发送至 [email protected]。

Naive-N0.5-Flash 是一款专为 AI 编码任务设计的开源权重模型,经过优化以实现尽可能高的每秒标记生成速度。该模型由一家名为 NaiveAI 的中国公司开发,旨在加速工程和研究工作流程,使团队能够更快地进行实验、迭代并解决复杂问题。

该模型是小米 MiMo-V2.5 的进化版本,NaiveAI 在此基础上进一步训练了其长上下文推理能力,并结合了其自研的 NaiveRT 推理引擎。Naive-N0.5-Flash 的宣传定位颇具野心:一款主要由 AI 构建并训练用于 AI 研究的模型,长期目标是实现递归式自我改进。

要了解其改进之处,需要先了解其起点。MiMo-V2.5 是一个 3100 亿参数的稀疏专家混合模型,包含 150 亿个活跃参数,训练数据量达 48 万亿标记。其语言主干继承了 MiMo-V2-Flash 的混合设计,结合了滑动窗口注意力(SWA)和全局自注意力机制。

NaiveAI 的优化方案始于这些权重。通过持续的多阶段训练,团队将检查点适配到 DeepSeek 稀疏注意力层。根据 NaiveAI 技术博客的信息,这在 MiMo 原始 48 万亿标记的基础上增加了约 3.25 万亿额外标记。其中约 3 万亿额外标记是在固定 100 万上下文长度和恒定学习率下训练的。

与 DeepSeek 和 Z.ai 的基准测试

我们对 Naive-N0.5-Flash 的超快速模式进行了基准测试,对比对象包括 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash,随后为所有三个模型提供了相同的应用构建提示。

我们发现的权衡是:Naive-N0.5-Flash 在处理更复杂问题时推理耗时更长,但总体上仍能更快得出答案。然而,这带来了每问题略高的成本——尽管这可能在速度优先的应用场景中是可接受的代价。

截至 2026 年 10 月底,OpenRouter 上最受欢迎的模型。

DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 是 OpenRouter 上最受欢迎的两款模型。两者均属于 Flash 模型系列,在 AI 辅助编码方面表现出色。

截至目前,NaiveAI 模型的性能统计数据尚未在 Artificial Analysis 上发布。因此,我们报告了所比较模型的智能指数评分:

模型智能指数

  • DeepSeek V4.1 Flash 1017(最大值):45
  • GLM-5.3-Flash:43
  • Naive-N0.5-Flash:尚未发布

已发布的基准测试结果为新模型的能力提供了部分见解。结果显示其编码能力介于两个对比模型之间,并在 NL2Repo-Bench 上超越了两者。

下表显示了各模型官方模型卡片和技术博客中报告的基准评分。来源:GLM-5.3-Flash – 技术博客,DeepSeek V4.1 Flash 1017 – 模型卡片,Naive AI – 研究。

| 模型 | NL2Repo-Bench | DeepSWE v1.1 | Agent's Last Exam (ALE) | |------|----------------|----------------|--------------------------| | GLM-5.3-Flash | 56.3 | 63.4 | 26.3 | | DeepSeek V4.1 Flash 1017 | 68.2 | 77.0 | 35.4 | | Naive-N0.5-Flash | 71.9 | 67.8 | 32.4 |

我们自己的评估将进一步探讨这些模型之间的差异。

速度与冗长性实验

速度是核心亮点。1 NaiveAI 承诺比同类模型实现更快的研究迭代,这对需要快速验证想法的开发者和 AI 研究人员而言至关重要。2

我们在三个难度层级上对每个模型进行了评估:10 个来自 MATH-500 的简单问题、10 个来自 GPQA-Diamond 的中等难度问题和 10 个来自 HLE-Diamond 的困难问题。每个模型共测试 30 个问题。所有实验均使用相同的最大完成标记限制 256K。

对于每个请求,我们记录了响应速度(每秒标记数,TPS)、完成标记总数和端到端响应时间。实验代码位于 https://github.com/gbeltramo/llm-verbosity 。

下表报告了每种配置下所有 30 个成功请求的平均值和中位数。吞吐量数据来源不同:DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 来自 OpenRouter,Naive-N0.5-Flash 来自服务器端测量。比较时需注意这一差异。

图表由 Gabriele Beltramo 制作

关键发现

Naive-N0.5-Flash 在两种思考模式下均表现出异常高的吞吐量,接近或超过每秒 1000 个标记。由于其数据来自服务器端,而其他模型数据来自 OpenRouter,我们不声称其速度是 DeepSeek V4.1 Flash 1017 或 GLM 5.3 Flash 的确切倍数。

思考模式对输出长度有显著影响。在困难的 HLE 问题上,启用思考的 Naive-N0.5-Flash 平均生成约 108,500 个完成标记,约为 GLM 5.3 Flash(高)平均值的 9 倍和 DeepSeek V4.1 Flash 1017(高)平均值的 11 倍。

中位数与平均值呈现不同趋势。在所有 30 个问题中,启用思考的 Naive-N0.5-Flash 的中位数完成标记为约 3,200 个,远低于其超过 51,000 的平均值。少量请求产生了异常长的推理轨迹,拉高了平均值。其他模型也呈现出类似但更弱的模式。

表格中还包含端到端响应时间,这是判断速度更公平的依据。对于 Naive-N0.5-Flash(启用思考),中位数问题耗时 3.1 秒,而 GLM 5.3 Flash(高)为 5.3 秒,DeepSeek V4.1 Flash 1017(高)为 10.1 秒。平均值更接近:Naive-N0.5-Flash 为 45.3 秒,DeepSeek V4.1 Flash 1017 为 45.0 秒,GLM 5.3 Flash 为 86.9 秒。在困难问题上,Naive-N0.5-Flash(启用思考)的平均响应时间(89.8 秒)略高于 DeepSeek V4.1 Flash 1017(高)(79.7 秒)。

需注意两点限制。样本量较小,每个难度层级仅 10 个问题,且我们未评估答案准确性。短而快的回复只有在正确时才有价值。

应用实验

我们还要求模型从相同初始提示构建相同的 Web 应用。我们测试了六种模型与思考模式的组合(思考模式用括号标注):

  • Naive-N0.5-Flash(无思考)
  • Naive-N0.5-Flash(有思考)
  • DeepSeek V4.1 Flash 1017(低)
  • DeepSeek V4.1 Flash 1017(高)
  • GLM 5.3 Flash(低)
  • GLM 5.3 Flash(高)

应用画廊可在线访问。简而言之,三个提示要求六种模型变体执行以下任务:

  • 创建地球和太阳系的交互式 3D 视图。
  • 从种子随机生成器生成 3D 树,包含渐细分支、数千片叶子以及树皮和树叶纹理。
  • 将《One Weekend 的光线追踪》书籍移植到浏览器端。

赞助

Your sponsor ad here

接触正在构建未来的人工智能工程师。

Latent Space 的读者是那些正在部署代理、模型和基础设施的人。咨询赞助这个位置。

[email protected] →

下方我们嵌入了每个模型的思考变体结果。

Naive-N0.5-Flash (思考)

地球和太阳系;Naive-N0.5-Flash (思考)

3D 树;Naive-N0.5-Flash (思考)

周末的光线追踪;Naive-N0.5-Flash (思考)

DeepSeek V4.1 Flash 1017 (高)

地球和太阳系;DeepSeek V4.1 Flash 1017 (高)

3D 树;DeepSeek V4.1 Flash 1017 (高)

周末的光线追踪;DeepSeek V4.1 Flash 1017 (高)

GLM 5.3 Flash (高)

地球和太阳系;GLM 5.3 Flash (高)

3D 树;GLM 5.3 Flash (高)

周末的光线追踪;GLM 5.3 Flash (高)

太阳系

第一个应用是地球和太阳系的交互式3D视图。观众可以围绕场景旋转相机,观看行星绕太阳运行,控制面板可以加速或减慢它们的运动。每个表面都由生成的纹理绘制,没有使用任何图像文件。

在三个模型中,Naive-N0.5-Flash (思考) 的效果最好。它的太阳显示出太阳黑子,地球的暗面在夜晚会发出城市灯光的光芒。

DeepSeek V4.1 Flash 1017 (高) 紧随其后。它的版本缺少小行星带,地球的纹理细节也较少。

GLM 5.3 Flash (高) 在光照处理上出现问题,导致行星难以区分。它的速度控制也过于敏感,轻微的调整就会让行星快速飞驰或缓慢爬行。

树木建模

第二个应用通过带种子的随机生成器生成一棵3D树,树枝逐渐变细并分叉,拥有数千片叶子,以及树皮和树叶的纹理。风吹动树枝,树叶飘动,草地上的阴影也随之移动。树木位于渐变的天空和轻雾之下。控制面板可以调整种子、分支深度、叶子数量、风力强度和方向以及太阳位置。还有一个切换按钮可启用秋季颜色,角落里还有一个帧率计数器。

DeepSeek V4.1 Flash 1017 (高) 和 Naive-N0.5-Flash (思考) 都产生了良好的结果。令人意外的是,关闭思考模式的 Naive-N0.5-Flash 完全无法生成可用的应用程序。

良好的结果在风动画中仍有一些小故障。在 DeepSeek V4.1 Flash 1017 (高) 应用中,强风下细枝可能会从母枝上脱离并漂浮。这种效果很微妙,但确实存在。

在 GLM 5.3 Flash (高) 应用中,这个问题更容易看到。当风力强度调高时,整棵树会开始变形并像地震中的果冻雕塑一样摇晃。

《周末的光线追踪》

第三个应用是书籍《周末的光线追踪》的浏览器端移植版本。它渲染了书中的封面场景:一片广阔的灰色地面,散落着一些小哑光、金属和玻璃球,中央有三个大球。一个是玻璃,一个是棕色哑光,一个是抛光金属。景深会模糊前景和背景。图像在屏幕上逐步构建,有进度条、已用时间和每秒光线数量的预估。菜单提供了书中早期的重要场景。用户可以选择预设的画质并下载结果为PNG格式。

在这个更侧重编码的场景中,所有开启思考模式的三个模型都生成了可用的应用程序。

定价

Naive 将 N0.5-Flash 定位为功能强大且成本低廉的模型。目标价格为每百万个输入令牌 0.10 美元,每百万个输出令牌 0.40 美元,每百万个缓存读取令牌 0.01 美元。

这将它置于每百万个输出令牌 0.20 至 0.60 美元的价格区间,该区间内有多个功能强大的 Flash 模型,包括我们比较的两个模型。

最终账单还取决于模型使用的令牌数量。这又取决于请求的思考预算和问题的难度。

总结

在超快速模式下,Naive-N0.5-Flash 的峰值可达每秒约 2000 个令牌,并在以思考为主的任务中保持近 1000 个令牌的持续速度。

在我们的测试中,其中位响应时间比 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 1017 在高思考设置下的响应时间短好几倍。平均时间与 DeepSeek V4.1 Flash 1017 相当。

在复杂任务中,它消耗的思考令牌远多于其他两个模型。在简单和中等难度的问题上,它始终能更快地做出回应。

在应用中,Naive-N0.5-Flash 比 GLM 5.3 Flash(高)表现出更高的一致性。开启思考功能后,它也能与 DeepSeek V4.1 Flash 1017 抗衡。它构建了最详细的太阳系应用,在树模型上与 DeepSeek V4.1 Flash 1017 并列,且在光线追踪效率上紧随其后。

对于重视快速迭代而非令牌经济的开发者来说,这种速度是尝试 Naive-N0.5-Flash 的主要原因。

Naive-N0.5-Flash 的速度依赖于高效的推测解码起草者和定制的推理引擎。报告的解码速度是在单个八 GPU Blackwell 节点上使用 NaiveRT 进行推测解码时测得的。起草者为 Naive-N0.5-Flash-FP8-Draft,该配置针对单流解码延迟进行了优化,而非批量吞吐量。实际速度取决于目标模型每轮接受的起草令牌数量。这会根据检查点对、提示、上下文长度、采样设置和生成内容而变化。报告的数字清楚地表明了这一点:

  • 接受率:禁用思考时为 70.6%,启用思考时仅为 43.4%。
  • 解码速度:思考阶段约为 984 个令牌/秒,回答阶段约为 1816 个令牌/秒。
  • 峰值速度:单秒内约 2100 个令牌。请将此视为上限而非典型速度。

引擎与起草者同样重要。开发人员报告称,在 NaiveRT 中,完整的推测轮次(起草、验证、采样和提交)耗时 3.4 毫秒,而在 SGLang 中耗时 12.3 毫秒,减少了 72.4%。禁用思考的测试中每轮约耗时 3.45 毫秒。有关完整测量结果,请参阅 NaiveRT: Performance。

强化学习的启示:在大规模强化学习中,生成自回归展开是主要瓶颈。任何能降低解码成本的方法,例如此处采用的稀疏注意力(DSA),都能使展开过程更高效。将其他模型适配到DSA架构上,可以显著提升这一过程的效率,加速前沿研究的进展。这与Naive AI的更大愿景相契合:一种能够优化自身推理CUDA内核、并为大规模强化学习训练采用最高效架构的自我改进型AI。