The JetBrains Blog

Junie Local became 70% faster on Mac M5

6.9内容质量
Junie Local became 70% faster on Mac M5

TL;DR · AI 摘要

Junie Local became 70% faster on Mac M5 - The JetBrains Blog Junie Learn more Agentic AI AI Coding JetBrains AI Junie Lo...

核心要点

  • 主题聚焦：Junie Local became 70% faster on Mac M5
  • 来源：The JetBrains Blog，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程
打开原文

Junie Local 在 Mac M5 上速度提升 70% - JetBrains 博客

Junie

了解更多

智能代理 AI

AI

编程

JetBrains AI

Junie Local 在 Mac M5 上速度提升 70%

Stanislav Erokhin

Vladimir Sotnikov

Junie Local 现在在 M5 Max 上的编程任务处理速度达到约 70 个 token/秒，相比之前的约 40 个 token/秒有显著提升，峰值甚至可达 107 个 token/秒。实现这一突破的两大关键因素是：Splash 推理引擎和全新的 DFlash2 草稿模型。

早在今年 8 月我们首次发布 Junie Local for Mac M5 时，就投入大量时间优化 Junie 和 MLX-VLM 推理引擎，以达到当时可能的最高性能。但两个月的时间在当前大模型发展速度下似乎显得格外漫长。这段时间内，社区发布了许多令人振奋的推理加速方案。我们对所有方案进行了评估和测试，最终选取了最有前景的部分整合到 Junie Local 中。

9 月，Inco AI 发布了基于 Qwen 模型的 Splash 引擎。专注于少数模型使 Splash 能够实现通用引擎难以做到的性能：每个解码步骤同时验证 8 个草稿 token，上下文注意力成本比传统方案低一个数量级，因此随着上下文增长解码速度几乎不受影响。虽然预填充阶段性能与我们优化后的 MLX-VLM 引擎相当，但我们已将 MLX-VLM 在 M5 芯片上使用 int8 操作的优化方案移植到 Splash 上。在此次更新中，Splash 取代 MLX-VLM 成为 Junie Local 的推理引擎。

但优秀的推理引擎只是成功的一半。我们还需要一个能实现更高效推测解码的模型草稿器。使用推测器时，接受率决定了解码速度。过低的接受率甚至可能导致解码速度下降。

Splash 默认使用 DFlash2 草稿模型处理 Qwen 3.8-27B。但 Qwen 3.8 存在轻微缺陷——它容易过度思考。这种特性会抵消生成速度提升带来的优势，因为需要生成大量思考 token。

为解决这个问题，我们之前发布了 Qwen3.8-3.6-27B-blend 模型，其能力优于 Qwen 3.6，但仅需额外 30% 的 token。在此次更新中，我们也为 Qwen3.8-3.6-27B-blend 集成了 DFlash2 草稿模型。

基于 DFlash 的模型虽然速度快，但对领域分布非常敏感：在熟悉任务上的接受率更高，因此代理在处理熟悉任务时会更快，在陌生任务上则会变慢。

为训练这个 DFlash2 模型，我们通过在内部编程环境中使用 Qwen3.8-3.6-27B-blend 运行 Junie Local 框架，生成了大量智能编程轨迹。随后我们以 Qwen 3.8 的 DFlash2 草稿模型作为初始检查点，使用 SpecForge 在这些编程轨迹上进行微调。这样，我们的 DFlash2 草稿器在与 Junie Local 配合编程时能实现最高的速度和接受率。

让我们惊讶的是，微调草稿器并不需要大量轨迹数据。我们仅用约 100 万个生成 token（读取约 7100 万个 token）就达到了 Inco 的接受率！作为额外成果，我们还以类似方式训练了 Qwen 3.6 的 DFlash2 草稿器。

这种接受率与 Splash 引擎的结合带来了显著效果：相比之前的 MTP + MLX-VLM 方案，性能提升了约 2 倍。

通过整合所有这些改进，在此次更新中我们实现了：

  • 生成速度从约 40 token/秒提升至约 70 token/秒
  • 预填充性能从 850 token/秒提升至 1200 token/秒
  • 内存消耗降低：在 10 万上下文长度下，仅需约 24 GB 内存

从本次发布开始，您可以在配备 64GB 内存的 M4 Mac 及更新机型上使用该功能。

请注意，在 M4 机型上，预填充速度大约是 M5 的四分之一。这意味着系统提示符和其他上下文的加载速度会较慢。

如何升级

运行 junie update 将 Junie 升级到最新版本，然后启动 CLI。进入 Junie 后，运行 /local 并按下 ctrl + r 更新推理引擎。

如果您尚未安装 Junie，可以通过以下命令安装 Junie 和本地模型：

code
curl -fsSL https://junie.jetbrains.com/install.sh | bash -s -- --local-model

您可以在 HuggingFace 上找到这两个 DFlash2 模型：

  • Qwen3.8-3.6-27B-blend-DFlash2
  • Qwen3.6-27B-DFlash2

本地 AI

  • 分享
  • Facebook
  • Twitter
  • LinkedIn

上一篇

Junie 节能模式