Run fast, private agents on-device with LFM2.5-24B-A2B

Hugging Face Blog

Hugging Face Blog2026年10月13日

Run fast, private agents on-device with LFM2.5-24B-A2B

6.9内容质量

TL;DR · AI 摘要

Run fast, private agents on-device with LFM2.5-24B-A2B Back to Articles 0 Team Article Published October 13, 2026 -1 Upv...

核心要点

主题聚焦：Run fast, private agents on-device with LFM2.5-2
来源：Hugging Face Blog，建议结合原文判断细节。
AI 分析暂不可用，本条为保底评分与摘要。

#AI#编程#后端#安全

打开原文

在设备上以高速运行私有代理的 LFM2.5-24B-A2B

返回文章列表

[0

团队

]

文章

发布于 2026 年 10 月 13 日

[-1

7

[

+1

Raahul Vignesh

Raahul26

关注

LiquidAI

Song Duong

sduong

Akhilesh Deepak Gotmare

akhileshdeepakgotmare

Fernando Fernandes Neto

fernandofernandes

Jiahui Wang

WWWjiahui

Mayank Agarwal

mayankagarwal

nathan ranchin

nathanrchn

Sergei Tilga

tilgasergey

Sinoué GAD

GAD-cell

Tim Seyde

tseyde

Zetian Li

zetianli

changyi yang

changyiyang

Simon Lee

yungisimon

Leonie Monigatti

iamleonie

Maxime Labonne

mlabonne

Karthik Macherla

karthikrmacherla

Alfred Eng

alfredeng

Khoi Nguyen

KTLK

Paul Pak

paulpak58

xx

tugot17

Tarek Dakhran

tdakhran

Anthony Maltsev

amaltsev

LFM2.5-24B-A2B 是一个 2400 亿参数的推理模型，仅使用 200 亿活跃参数，专为设备上的高速私有代理而设计。它在回答前会进行思考，调用工具，并在主流代理框架中处理多步骤任务。由于每个 token 仅激活 200 亿参数，每个推理 token 成本低廉，因此您可以在自己的硬件上持续运行代理。

首屈一指的代理：在代理和工具使用任务上与拥有约 50% 更多总参数和活跃参数的 Qwen3.6-35B-A3B 模型竞争，在 LiveClaw 基准测试中得分为 48.09，而后者为 38.19。

MoE 速度推理：始终在回答前进行思考。每个 token 仅激活 200 亿参数，每个推理 token 成本低廉。

高效推理：在 Apple M5 Max 上达到 184 token/s，单块 NVIDIA B300 GPU 上输出速度高达 21,000 token/s。

如何构建一个拥有 200 亿活跃参数的推理代理

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建并保留其架构：40 层，每个 MoE 模块 64 个专家，采用 top-4 路由，以及门控短卷积和 GQA 的混合结构。上下文窗口从 32K 扩展至 131K token，原地分词器扩展使词汇量从 65K 增加到 128K token，以提升非拉丁语分词效果。与前代不同，它是一个专用推理模型，在最终答案前会生成显式的推理链。

预训练规模从约 17T token 扩展至 33T token。中期训练阶段添加了 2T token（32K 上下文），侧重推理、数学、代码、指令遵循和多语言文本，以及 300B token（131K 上下文），侧重长上下文数据。工具调用和多轮轨迹贯穿两个阶段。后训练通过五个阶段将基础模型转化为代理：

监督微调（SFT）

教师专业化

多领域策略优化蒸馏（MOPD），非代理型：在非代理任务上对专家教师进行蒸馏。

MOPD，代理型：第二阶段蒸馏专注于代理任务。

代理强化学习（Agentic RL）：在 OpenClaw、Hermes Agent、Pi 和 OpenCode 等代理框架中训练模型。

基准测试结果

我们在 16 个涵盖工具使用、代理工作流、知识、指令遵循、数学和编码的基准测试中，将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了对比。它是该组中最小的模型，却在总参数和活跃参数多出约 50% 的 MoE 模型中保持竞争力。

基准测试

LFM2.5-24B-A2B

Qwen3.6-35B-A3B

Gemma-4-26B-A4B-it

Nemotron-3.5-Lightning (30B-A3B)

AutomationBench

27.69

8.72

5.46

2.61

BFCLv4

65.01

65.00

57.09

53.78

ToolSandbox

80.71

75.02

72.09

75.13

LiveClaw

48.09

38.19

41.25

37.72

PinchBench

83.18

89.93

77.12

84.20

τ³-Bench Banking

8.04

7.63

4.54

7.01

WebArena Verified

26.75

37.62

25.62

28.69

GPQA Diamond

74.42

83.69

74.90

72.42

AA-Omniscience

-24.90

-24.35

-59.39

-3.58

HLE

7.40

7.69

8.57

5.65

IFEval

96.75

93.06

92.00

94.19

IFBench

74.69

64.21

47.44

71.67

Multi-IF

84.38

81.53

82.19

82.34

MATH-500

96.04

96.73

95.66

96.40

SWE-Bench Verified (OpenCode)

51.00

66.20

25.80

53.40

SciCode

32.71

37.35

35.42

27.78

*所有模型均使用vLLM进行评估，并采用各基准测试推荐的生成参数。

对于您的应用，模型的优势在于工具使用和指令遵循能力。LFM2.5-24B-A2B在8个工具使用和智能体基准测试中的5个（AutomationBench、BFCLv4、ToolSandbox、LiveClaw和τ³-Bench Banking）上领先或与竞争对手持平，在AutomationBench基准测试中得分是第二名模型的三倍以上。它还在所有三个指令遵循基准测试中表现最佳。在GPQA Diamond、HLE和AA-Omniscience等知识密集型基准测试，以及SWE-Bench Verified (OpenCode)和SciCode等编码基准测试中，更大模型仍保持优势，因此在处理知识密集型任务时，建议将LFM2.5-24B-A2B与检索或网络搜索结合使用。

这些结果使LFM2.5-24B-A2B成为需要推理、调用工具并在您的设备上可靠运行的智能体的坚实基础。

CPU和GPU上的推理速度

LFM2.5-24B-A2B在推理生态系统中提供开箱即用的支持，包括llama.cpp、MLX、vLLM、SGLang和ONNX。

边缘设备推理。LFM2.5-24B-A2B是所比较的MoE模型中最快的，在M5 Max设备上每秒可解码184个标记，在Ryzen AI Max+ 395设备上每秒可解码114个标记。这比第二快的模型快达1.7倍，同时使用的内存最少。

GPU推理。LFM2.5-24B-A2B是其尺寸类别中最快的模型，在单个B300 GPU上高并发时每秒可生成超过21,000个输出标记。

如何使用LFM2.5-24B-A2B

当您需要能够在设备上可靠运行并具备推理和工具调用能力的智能体时，请选择LFM2.5-24B-A2B。

安装最新版本的transformers库（兼容transformers>=5.0.0）：

code

pip install -U transformers

然后加载并运行模型：

code

from
transformers
import
AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id =
"LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map=
"auto"
,
    dtype=
"bfloat16"
,
#   attn_implementation="flash_attention_2" <- 在兼容GPU上取消注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=
True
, skip_special_tokens=
True
)

prompt =
"What is C. elegans?"
input_ids = tokenizer.apply_chat_template(
    [{
"role"
:
"user"
,
"content"
: prompt}],
    add_generation_prompt=
True
,
    return_tensors=
"pt"
,
    tokenize=
True
,
)[
"input_ids"
].to(model.device)

output = model.generate(
    input_ids,
    do_sample=
True
,
    temperature=
0.1
,
    top_k=
50
,
    repetition_penalty=
1.05
,
    max_new_tokens=
512
,
    streamer=streamer,
)

在您的智能体框架中使用

在任何兼容OpenAI的后端之后本地部署LFM2.5-24B-A2B，然后将您的智能体框架指向它。例如，使用Hermes Agent：

code

hermes config
set
model.provider custom
hermes config
set
model.base_url http://localhost:8080/v1
hermes config
set
model.default LFM2.5-24B-A2B
hermes config
set
model.context_length 131072
hermes config
set
model.api_mode chat_completions
hermes config
set
agent.tool_use_enforcement
true

端口取决于您使用的服务后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。请查看 OpenClaw 和 Pi 的模型卡片以获取配置信息，并参考我们的指南完成完整设置。欢迎访问我们的发布博客观看视频示例。

快速上手 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重模型，现已在 Hugging Face 上发布：

下载：在 Hugging Face 获取 LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B。

在您的系统中使用：按照我们的指南运行本地代理，例如 OpenClaw、Hermes Agent 和 Pi。

微调：通过我们的微调教程将 LFM2.5-24B-A2B 适配到您的具体任务。

我们迫不及待想看到您的创作成果。

引用说明

如使用本工作，请引用以下发布博客：

code

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}

本文提及的模型 3

更多该作者的文章

适用于边缘设备的多模态开放 d1 决策模型

38

2026年10月7日

使用 LFM2.5-VL-DSpark 加速视觉语言模型

51

2026年9月24日

社区

编辑

预览

通过拖拽文本输入框、粘贴或点击此处上传图片、音频和视频

.

轻点或粘贴此处上传图片

· 注册或登录以发表评论