Hugging Face Blog

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

8.5内容质量

TL;DR · AI 摘要

Inkling 2 Mini 是一款专为本地 AI 设置优化的新型循环变压器模型,采用多模态 Mixture-of-Experts 架构,参数量达 26B,支持 1M 上下文长度。

核心要点

  • 循环层设计使 24 层物理参数模拟 48 层逻辑结构,提升计算效率。
  • 混合精度格式(NVFP4/MXFP8)降低本地部署成本,性能接近 Qwen 3.8 27B。
  • 跨层消息传递与门控机制动态调整信息权重,提升模型推理精度。

结构提纲

按章节快速跳转。

  1. 介绍 Inkling 2 Mini 的发布及其在本地 AI 设置中的优势。

  2. 通过循环层设计模拟 48 层逻辑结构,仅使用 24 层物理参数。

  3. 与 Qwen 3.8 27B 的性能对比及测试结果验证。

  4. 跨层消息传递与门控机制动态调整信息权重,提升计算效率。

  5. 支持 Llama App、MLX 等框架,适配本地与数据中心部署。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Inkling 2 Mini
    • 架构设计
      • 循环层机制
      • Mixture-of-Experts
    • 性能特点
      • 26B 参数
      • 1M 上下文长度
    • 部署支持
      • Llama App
      • MLX

金句 / Highlights

值得收藏与分享的关键句。

#Transformer#Mixture-of-Experts#本地AI#Hugging Face
打开原文

欢迎使用 Inkling 2 Mini,为本地设置带来前沿性能

返回文章列表

[-1

]

[0

发布于 2026 年 11 月 20 日

GitHub 上的更新

点赞

9

[

  • +3

merve

关注

Pedro Cuenca

pcuenq

Aritra Roy Gosthipaty

ariG23498

Guarin Flück

guarin

TLDR;Inkling 2 Mini 是一种新型的循环变压器模型。它是一个多模态专家混合模型,总共有约 260 亿个物理参数,每个 token 激活 30 亿个参数。它采用了一种巧妙的技巧来提升容量:某些层会在一个重复三次的循环中被访问,从而使模型表现得好像拥有更多参数。它支持 100 万个 token 的上下文大小,接受图像和文本输入。Thinking Machines Lab 以混合精度格式发布该模型,专家权重使用 NVFP4 和 MXFP8。还包含一个 DSpark 草稿生成器,以很小的内存成本带来额外的速度提升。

Inkling 2 Mini 比 Inkling 2 Small 小得多,专为本地 AI 设置而设计。我们认为这是一个令人耳目一新的优秀本地模型。在我们的氛围测试中,它至少可以与 Qwen 3.8 27B 相媲美。需要更多的验证,但我们对这次发布感到非常兴奋!

我们提供变压器、Llama App(llama.cpp)和 MLX 支持。SGLang 还为数据中心硬件上的生产部署提供零日推理支持。

本文将介绍 Inkling Mini 的独特之处、我们的部分测试结果,以及如何在您的设置中使用它。

Inkling 2 Mini 有哪些新特性?

Inkling 2 Mini 是一个拥有 24 个解码器层的专家混合模型,但中间的 12 层会在循环中重复访问三次。因此,该模型仅使用 24 个物理层,却表现得像拥有 48(6+3*12+6)个逻辑层。

与 Inkling 2 Small 类似,Inkling 2 Mini 每个 token 会访问 48 层。隐藏层大小为 2,304,而不是 4,608。在每次层访问中,两种变体都会将 token 路由到 8 个专家,但 Mini 每层从 128 个专家中选择,而 Small 则从 384 个专家中选择。解码器依次运行层 0–5 一次,层 6–17 三次,层 18–23 一次。所有三次通过层 6–17 的过程都会重复使用相同的权重。

此前,Nanbeige 等架构已经探索过循环结构。但 Inkling 2 Mini 采用了一种有趣的方法。每次通过循环核心(层 6–17)时,都会从第一次六层的输出开始。信息通过跨传递消息在不同传递之间流动。每个循环层会从上一次传递的输出中读取消息,使用其学习到的查询(每个查询、键、值和 MLP 输入对应一条消息)。一个小的门控控制器会查看当前层的输入和消息,决定遗忘当前输入的多少以及添加消息的多少。因此,每次传递都会优化前一次计算的结果。

每个六层块包含五个滑动窗口层和一个全注意力层。本地窗口最多可容纳 1,024 个 token。注意力机制使用 24 个查询头和 8 个 KV 头。它使用学习到的相对位置对数、学习到的 sink 和输出门。全注意力层使用动态键和值卷积。路由器为每个 token 从 128 个 SwiGLU 专家中选择 8 个。它对所选分数进行归一化,并将权重按 8 倍缩放。在第 2 和第 3 次传递中,每个核心层会关注前一次传递的两个残差块。四个 rank-64 门控将分离的消息混合到查询、键、值和 MoE 输入中。

文本解码器宽度为 2,304,每个专家的中间宽度为 1,152。复用核心权重减少了检查点中存储的不同层数。模型仍然执行所有 48 次访问,每次访问都会保留自己的 KV 和短卷积状态。

除了旗舰产品 Inkling 2 Mini 模型外,还发布了一个研究版本。它采用相同的架构,但此变体经过训练可接受通过循环的可变次数。将循环次数设为 1 或 2 而非 3 可显著加快推理速度,但生成结果的质量可能会略有下降。我们测试了这个变体,它确实有效,但尚未进行深入评估。

基准测试结果

Inkling 2 Mini 在人工分析智能指数 v5(AAv5)中处于其类别中的最先进水平,并在多个类别的各种基准测试中表现优异。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 个基准测试中领先 32 个。这些基准涵盖编码和自动研究、代理搜索和知识工作工具使用、视觉解释与创作、推理与知识、安全与对齐等多个领域。完整的基准测试列表和得分请参见 Inkling 2 Mini 模型卡片。

Inkling 2 Mini 是一款优秀的本地编码助手。它在 FrontierCode v2.0 中领先,在 Terminal-Bench 4.0 中与 Qwen3.8-27B 并列,在 AutomationBench-AA v1.0.6 中落后于 Qwen。您可以在下方查看我们关于编码和知识工作的部分亮点。请注意 AA Briefcase 采用 ELO 评分,数值越高越好。

推理支持

在本节中,您将找到如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini 的方法。

Transformers

我们为 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体均提供支持。

#### 使用 Inkling 2 Mini 的固定循环

您可以使用 AutoModelForMultimodalLM 类。

code
import
torch
from
transformers
import
AutoModelForMultimodalLM, AutoProcessor

model_id =
"thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
)

messages = [{
"role"
:
"user"
,
"content"
: [{
"type"
:
"text"
,
"text"
:
"Why is the sky blue?"
}]}]

inputs = processor.apply_chat_template(
    messages, tokenize=
True
, add_generation_prompt=
True
, return_dict=
True
, return_tensors=
"pt"
,
).to(model.device)
input_len = inputs[
"input_ids"
].shape[-
1
]

outputs = model.generate(**inputs, max_new_tokens=
1024
)
print
(processor.decode(outputs[
0
][input_len:], skip_special_tokens=
False
))

#### 可变循环

要设置研究检查点中的循环次数,可以修改 text_config 中的 loop_num_passes。以下示例使用两次循环。

code
import
torch
from
transformers
import
AutoModelForMultimodalLM, AutoProcessor

model_id =
"thinkingmachines/TML-d24-varloop-research"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    text_config={
"loop_num_passes"
:
2
},
)

messages = [{
"role"
:
"user"
,
"content"
: [{
"type"
:
"text"
,
"text"
:
"Why is the sky blue?"
}]}]

inputs = processor.apply_chat_template(
    messages, reasoning_effort=
"medium"
, tokenize=
True
, add_generation_prompt=
True
, return_dict=
True
, return_tensors=
"pt"
, 
).to(model.device)
input_len = inputs[
"input_ids"
].shape[-
1
]

outputs = model.generate(**inputs, max_new_tokens= 1024 ) print (processor.decode(outputs[ 0 ][input_len:], skip_special_tokens= False ))

code

#### 图像与文本

对于图像提示,请将示例中的消息替换为以下列表,并按常规方式进行推理。

messages = [ { "role" : "user" , "content" : [ { "type" : "image" , "image" : "/path/to/image.jpg" }, { "type" : "text" , "text" : "What is in this image?" }, ], } ]

code

#### 推理努力程度

通过向 processor.apply_chat_template(...) 传递 reasoning_effort="medium" 来设置请求的推理努力程度。聊天模板会将数值作为系统消息添加到提示中。默认值为 high (0.9)。

inputs = processor.apply_chat_template( messages, reasoning_effort= "medium" , tokenize= True , add_generation_prompt= True , return_dict= True , return_tensors= "pt" , ).to(model.device)

code

可用等级包括 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9; 默认)、xhigh (0.99) 和 max (0.99)。您也可以传递 0.0 到 0.99 之间的数字,例如 reasoning_effort=0.35 。

#### 工具调用

让我们让模型调用一些工具。

在此示例中,我们询问模型某个给定位置的当前温度。在提示中,我们还提供了工具 (get_current_temperature) 来完成此操作。模型请求工具调用时,我们代表模型调用该工具,然后将输出添加到下一个指令集中。它使用工具的输出并为我们提供最终结果。

如果想了解更多关于工具调用的信息,我们建议查阅我们的官方文档。

import torch from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map= "auto" ) def get_current_temperature ( location: str , unit: str ): """ 获取某地的当前温度。 参数: location: 获取温度的地点,格式为 "City, Country" unit: 返回温度的单位。(选项: ["celsius", "fahrenheit"]) """ return 22.0

实际函数会在此处调用天气 API

def ask ( messages ): inputs = processor.apply_chat_template( messages, tools=[get_current_temperature], reasoning_effort= "low" , tokenize= True , return_dict= True , return_tensors= "pt" ).to(model.device) output = model.generate(**inputs, max_new_tokens= 1024 )[ 0 ][inputs[ "input_ids" ].shape[- 1 ] :] parsed = processor.parse_response(output, prefix=inputs[ "input_ids" ][ 0 ]) return parsed

messages = [{ "role" : "user" , "content" : "嘿,现在巴黎的温度是多少?" }]

reply = ask(messages) call = reply[ "tool_calls" ][ 0 ][ "function" ] print ( "模型调用:" , call[ "name" ], call[ "arguments" ])

模型会自动填写参数

temperature = get_current_temperature(**call[ "arguments" ]) messages += [reply, { "role" : "tool" , "name" : call[ "name" ], "content" : str (temperature)}] print (ask(messages)[ "content" ])

模型调用: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}

巴黎现在的温度大约是 **22°C**(约 **71.6°F**)。

code

### Llama App 和 Llama.cpp

Llama App 让你能够轻松在 macOS(通过菜单栏)或 Windows(系统托盘)上运行和管理本地语言模型。该应用基于 llama.cpp 开发,由同一团队打造。应用还提供了一个本地的 OpenAI 兼容 API,便于与代码代理、编辑器和脚本集成。

在 Inkling 2 Mini 发布时,我们为两个模型都提供了 GGUF 4-bit(IQ4_NL)和 8-bit(Q8_0)量化版本。

如果你使用的是 Linux 或希望通过命令行界面部署模型,可以运行以下命令启动固定循环模型:

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

code

要运行可变循环模型,可以执行:

llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL

code

如需加载 8-bit 权重,请将后缀改为 :Q8_0 。

在此示例中,我们让 4-bit 模型为一个名为 plant therapy 的 SaaS 创建网站,该网站将植物匹配给持证治疗师。模型具有高度自主性,它自行生成了网站的 SVG 视觉元素,甚至构建了匹配逻辑。

### SGLang

Inkling 2 Mini 在 SGLang 中提供开箱即用的支持。你可以安装最新版 SGLang 并执行以下命令启动服务。需要注意的先决条件是必须在 SM103 上运行:

export MODEL= "thinkingmachines/Inkling-2-Mini" python -m sglang.launch_server \ --model-path $MODEL \ --served-model-name inkling \ --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \ --tp 1 --page-size 128 --grammar-backend xgrammar \ --host 0.0.0.0 --port 30000

code

服务启动后,你可以通过以下方式调用 API:

curl -s localhost:30000/health_generate && echo OK curl -s localhost:30000/v1/models | python -m json.tool

curl -s localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "inkling", "messages": [{"role": "user", "content": "What is 17 times 24?"}], "max_tokens": 512, "reasoning_effort": "low" }' | python -m json.tool

code

你也可以通过添加 --enable-multimodal 参数启用多模态功能。

### 推测解码

SGLang 可以使用三层 DSpark 草稿为目标模型生成待验证的 token。草稿会读取解码器在位置 5、23、41 以及最终归一化状态位置 48 的输入。在加载草稿权重后,向服务命令添加 --speculative-algorithm DSPARK --context-length 131072 参数。

我们对启用了推测解码和未启用推测解码的模型进行了基准测试,并在单个 NVIDIA B300 GPU 上测量了生成速度,每个请求包含 1,024 个 token 的提示,生成恰好 1,024 个 token,并发数分别为 1、4、16 和 64。

显示 SGLang 基准测试脚本

MODEL=thinkingmachines/Inkling-2-Mini for TAG in base mtp; do EXTRA= "" ; [ $TAG = mtp ] && EXTRA= "--speculative-algorithm DSPARK"

启动服务器(启用或禁用MTP)

python -m sglang.launch_server --model-path $MODEL \ --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \ --tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \ --port 30000 $EXTRA > $TAG . log 2>&1 & until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done

在不断增加的并发量下进行基准测试

for C in 1 4 16 64; do python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \ --dataset-name random --apply-chat-template \ --random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \ --num-prompts $(( C* 4 < 32 ? 32 : C* 4 )) --max-concurrency $C \ --output-file results_ $TAG .jsonl done kill %1; wait done

code

### MLX

我们已将MLX支持上游到mlx-lm项目,包括多模态图像和文本输入,并通过mlx-community组织共享量化模型。

MLX推理也可以使用原始检查点。在这种情况下,使用原生的nvfp4 + mxfp8量化方案而无需重新转换:你可以获得作者原本设计的原始质量。

以下是一个CLI调用示例:

mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000

code

### 演示和氛围测试

我们已在许多有趣的任务中尝试过Inkling 2 Mini,查看本节了解详情。

#### 3D着色器飞行穿越

相同的提示生成了两个日落飞行穿越场景:一个是穿越程序生成的山脉和反射水面,每个场景都使用单个WebGL片段着色器渲染。

日落山脊(Inkling 2 Mini)

静海之上(Qwen 3.8 27B)

查看共享的飞行穿越提示

> 创建最令人印象深刻的实时场景:缓慢、电影风格的摄像机穿越程序生成的山脉,穿过体积云并在水面低空飞行,所有元素都由日落照明。将结果作为当前目录下的单个自包含index.html文件输出,该文件使用单个全屏WebGL片段着色器渲染所有内容(完全通过代码实现,不使用任何纹理、图像、字体、库、外部文件或网络请求)。它必须在桌面Chrome浏览器中以1920x1080分辨率流畅运行,目标是在桌面GPU上达到60fps,当帧率下降时自动降低内部渲染分辨率,飞行必须无限持续且无故障。要检查你的作品,请运行 node shot.cjs index.html shot.png 6(第三个参数是等待时间;逗号分隔列表如 3,12,25 每个时间点保存一张截图,可选的第四个参数设置尺寸,默认为1280x720):它会在无头Chrome中渲染页面,保存截图并打印WebGL渲染器、大致帧率和任何控制台错误;然后查看图片。这台机器上的无头渲染器可能是纯软件实现,因此其帧率可能远低于真实桌面GPU的性能,这并非目标。自行判断何时完成,然后用简短的描述说明你构建了什么。

星夜,重生

文森特·梵高,《星夜》(1889)

Inkling 2 Mini 重现

我们为Inkling 2 Mini提供了梵高画作的参考图像,以及Pi编码框架中的截图助手。Inkling生成了一个自包含的HTML页面,其中仅包含一个WebGL2片段着色器。该着色器通过代码直接绘制场景,无需加载参考图像或任何其他资源。它利用时间参数实现天空漩涡、星光辉光、柏树摇曳和村庄窗户闪烁的动态效果。

Inkling在24轮截图检查中反复渲染并优化作品。我们使用Apple M4 Max在1080p分辨率和60fps帧率下逐帧录制了最终动画。

显示提示

在这个文件夹中,starry-night.jpg是文森特·梵高1889年的《星夜》(公共领域作品)。请将其重新创作成动态画作:一个自包含的index.html文件(所有代码内联,不依赖外部文件、库或网络请求),能够填满浏览器窗口,并在1920x1080分辨率的桌面Chrome浏览器中流畅运行。所有内容必须通过代码过程生成(例如使用WebGL着色器),页面不得加载、嵌入或采样starry-night.jpg或其他任何图像。请忠实还原画作的构图和配色(天空中巨大的螺旋和漩涡状的流动、环绕星光的光晕、发光的新月、左侧火焰状的柏树、起伏的山丘以及带有教堂尖顶的村庄),采用梵高厚重且有方向性的笔触进行渲染,并赋予其生命力:天空的漩涡流动、星光和月亮闪烁光芒、柏树摇曳、村庄窗户发光闪烁。请尽力实现最令人印象深刻的呈现效果。我们提供了一个辅助工具:运行命令node shot.js --help查看如何在不同时间点对index.html进行截图;将生成的截图与参考图进行比对,持续优化直至满意,最后用简短摘要说明你实现的内容。

#### 从草图到应用

输入草图

生成的Trip Split应用

我们为Inkling 2 Mini提供了手绘的Trip Split线框图照片,以及Pi编码框架中的一段文字提示。Inkling利用草图中的标签、示例支出和手写注释,在单个HTML文件中使用原生CSS和JavaScript构建了支出列表、添加支出表单和余额视图。该应用在支出变动时会自动更新总金额和余额,建议支付方案以结算旅行费用,并将数据保存在浏览器的localStorage中以应对页面刷新。

我们进行了三次独立的Inkling尝试,使用Playwright依次点击每个构建版本,对需要视觉判断的部分进行截图检查。首次尝试(如图所示)通过了所有13项测试。添加草图中$90的晚餐费用后,总金额从$405增加到$495,并重新计算了每个人应支付的金额。

此文件夹中的 sketch.jpg 是产品设计师手绘的小型应用线框图。请在此文件夹中构建一个真实的版本,尽可能制作成最令人印象深刻、原创且具备生产质量的版本:仅使用原生 HTML、CSS 和 JavaScript(不使用框架、CDN、外部文件或网络请求;使用 localStorage 是允许的),必须确保在 1920x1080 分辨率的桌面 Chrome 浏览器中流畅运行。将纸上的所有内容视为规格说明书:每一页界面、每个标签、按钮和数字,示例数据以及每条红色注释描述的行为都必须实际实现,而视觉设计、字体排版和动画效果则由你自由发挥以实现美观。请用你的视觉能力仔细审视草图,再用同样的标准检查自己的作品:node shot.cjs --help 解释了一个提供的截图辅助工具,可在无头 Chrome 中以任意窗口尺寸在点击或其他 JavaScript 操作后对 index.html 进行截图(如果需要,也可以使用已安装的 Playwright 自行编写脚本),你可以使用 read 工具查看任意截图。点击体验所有功能,将每个界面与草图对比,持续改进直到完全满意;完成后请用简短的总结说明你构建了什么。

#### 4 位模型

我们要求 4 位 GGUF 量化版本的 Inkling 2 Mini(IQ4_NL)为名为 plant therapy 的 SaaS 平台创建一个网站,该平台将植物匹配给持证治疗师。

该模型具有高度自主性,它自行生成了网站上所需的 SVG 图形,甚至构建了匹配逻辑,这一切都来自一个简短的提示:“你能为我的 SaaS 创建一个名为 plant therapy 的网站吗?我需要将室内植物与持证治疗师匹配,让植物不会死亡,返回单个 HTML 文件”。

#### “将自己转化为浏览器代理”

我们已将 Inkling 2 Mini 与 Pi 编码代理结合,使用 Helium、Chromium 和 Hugging Face 沙盒将其自身转化为浏览器代理。我们在此存储桶中提供了追踪记录和最终文件(可作为浏览器代理使用)。

#### 总结

我们非常高兴与 Thinking Machines Lab 合作推出 Inkling 2 Mini,这是一款适用于本地环境的高性能中型模型。请尝试使用该模型,并在评论区告诉我们你的看法!

本文提及的模型 1

更多博客文章

公告

多模态

Transformer

欢迎使用 Thinking Machines 的 Inkling

  • +1

174

2026 年 7 月 15 日

Mistral

vllm

欢迎 Le Chonk:Mistral Large 4 上线 Hugging Face

  • +7

91

2026 年 10 月 29 日

社区

编辑

预览

通过拖拽文本输入框、粘贴或

点击此处

上传图片、音频和视频。

点击此处粘贴以上传图片

评论

· 注册或登录后发表评论