Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup
TL;DR · AI 摘要
Inkling 2 Mini 是一款专为本地 AI 设置优化的新型循环变压器模型,采用多模态 Mixture-of-Experts 架构,参数量达 26B,支持 1M 上下文长度。
核心要点
- 循环层设计使 24 层物理参数模拟 48 层逻辑结构,提升计算效率。
- 混合精度格式(NVFP4/MXFP8)降低本地部署成本,性能接近 Qwen 3.8 27B。
- 跨层消息传递与门控机制动态调整信息权重,提升模型推理精度。
结构提纲
按章节快速跳转。
- §引言
介绍 Inkling 2 Mini 的发布及其在本地 AI 设置中的优势。
- ·核心机制
通过循环层设计模拟 48 层逻辑结构,仅使用 24 层物理参数。
- ›性能对比
与 Qwen 3.8 27B 的性能对比及测试结果验证。
- ·技术细节
跨层消息传递与门控机制动态调整信息权重,提升计算效率。
- ›部署支持
支持 Llama App、MLX 等框架,适配本地与数据中心部署。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Inkling 2 Mini
- 架构设计
- 循环层机制
- Mixture-of-Experts
- 性能特点
- 26B 参数
- 1M 上下文长度
- 部署支持
- Llama App
- MLX
金句 / Highlights
值得收藏与分享的关键句。
Inkling 2 Mini 使用循环层模拟 48 层逻辑结构,仅需 24 层物理参数。
混合精度格式(NVFP4/MXFP8)在保持性能的同时降低本地部署成本。
跨层消息传递与门控机制动态调整信息权重,提升计算效率。
欢迎使用 Inkling 2 Mini,为本地设置带来前沿性能
返回文章列表
[-1
]
[0
发布于 2026 年 11 月 20 日
GitHub 上的更新
点赞
9
[
- +3
merve
关注
Pedro Cuenca
pcuenq
Aritra Roy Gosthipaty
ariG23498
Guarin Flück
guarin
TLDR;Inkling 2 Mini 是一种新型的循环变压器模型。它是一个多模态专家混合模型,总共有约 260 亿个物理参数,每个 token 激活 30 亿个参数。它采用了一种巧妙的技巧来提升容量:某些层会在一个重复三次的循环中被访问,从而使模型表现得好像拥有更多参数。它支持 100 万个 token 的上下文大小,接受图像和文本输入。Thinking Machines Lab 以混合精度格式发布该模型,专家权重使用 NVFP4 和 MXFP8。还包含一个 DSpark 草稿生成器,以很小的内存成本带来额外的速度提升。
Inkling 2 Mini 比 Inkling 2 Small 小得多,专为本地 AI 设置而设计。我们认为这是一个令人耳目一新的优秀本地模型。在我们的氛围测试中,它至少可以与 Qwen 3.8 27B 相媲美。需要更多的验证,但我们对这次发布感到非常兴奋!
我们提供变压器、Llama App(llama.cpp)和 MLX 支持。SGLang 还为数据中心硬件上的生产部署提供零日推理支持。
本文将介绍 Inkling Mini 的独特之处、我们的部分测试结果,以及如何在您的设置中使用它。
Inkling 2 Mini 有哪些新特性?
Inkling 2 Mini 是一个拥有 24 个解码器层的专家混合模型,但中间的 12 层会在循环中重复访问三次。因此,该模型仅使用 24 个物理层,却表现得像拥有 48(6+3*12+6)个逻辑层。
与 Inkling 2 Small 类似,Inkling 2 Mini 每个 token 会访问 48 层。隐藏层大小为 2,304,而不是 4,608。在每次层访问中,两种变体都会将 token 路由到 8 个专家,但 Mini 每层从 128 个专家中选择,而 Small 则从 384 个专家中选择。解码器依次运行层 0–5 一次,层 6–17 三次,层 18–23 一次。所有三次通过层 6–17 的过程都会重复使用相同的权重。
此前,Nanbeige 等架构已经探索过循环结构。但 Inkling 2 Mini 采用了一种有趣的方法。每次通过循环核心(层 6–17)时,都会从第一次六层的输出开始。信息通过跨传递消息在不同传递之间流动。每个循环层会从上一次传递的输出中读取消息,使用其学习到的查询(每个查询、键、值和 MLP 输入对应一条消息)。一个小的门控控制器会查看当前层的输入和消息,决定遗忘当前输入的多少以及添加消息的多少。因此,每次传递都会优化前一次计算的结果。
每个六层块包含五个滑动窗口层和一个全注意力层。本地窗口最多可容纳 1,024 个 token。注意力机制使用 24 个查询头和 8 个 KV 头。它使用学习到的相对位置对数、学习到的 sink 和输出门。全注意力层使用动态键和值卷积。路由器为每个 token 从 128 个 SwiGLU 专家中选择 8 个。它对所选分数进行归一化,并将权重按 8 倍缩放。在第 2 和第 3 次传递中,每个核心层会关注前一次传递的两个残差块。四个 rank-64 门控将分离的消息混合到查询、键、值和 MoE 输入中。
文本解码器宽度为 2,304,每个专家的中间宽度为 1,152。复用核心权重减少了检查点中存储的不同层数。模型仍然执行所有 48 次访问,每次访问都会保留自己的 KV 和短卷积状态。
除了旗舰产品 Inkling 2 Mini 模型外,还发布了一个研究版本。它采用相同的架构,但此变体经过训练可接受通过循环的可变次数。将循环次数设为 1 或 2 而非 3 可显著加快推理速度,但生成结果的质量可能会略有下降。我们测试了这个变体,它确实有效,但尚未进行深入评估。
基准测试结果
Inkling 2 Mini 在人工分析智能指数 v5(AAv5)中处于其类别中的最先进水平,并在多个类别的各种基准测试中表现优异。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 个基准测试中领先 32 个。这些基准涵盖编码和自动研究、代理搜索和知识工作工具使用、视觉解释与创作、推理与知识、安全与对齐等多个领域。完整的基准测试列表和得分请参见 Inkling 2 Mini 模型卡片。
Inkling 2 Mini 是一款优秀的本地编码助手。它在 FrontierCode v2.0 中领先,在 Terminal-Bench 4.0 中与 Qwen3.8-27B 并列,在 AutomationBench-AA v1.0.6 中落后于 Qwen。您可以在下方查看我们关于编码和知识工作的部分亮点。请注意 AA Briefcase 采用 ELO 评分,数值越高越好。
推理支持
在本节中,您将找到如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini 的方法。
Transformers
我们为 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体均提供支持。
#### 使用 Inkling 2 Mini 的固定循环
您可以使用 AutoModelForMultimodalLM 类。
import
torch
from
transformers
import
AutoModelForMultimodalLM, AutoProcessor
model_id =
"thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
)
messages = [{
"role"
:
"user"
,
"content"
: [{
"type"
:
"text"
,
"text"
:
"Why is the sky blue?"
}]}]
inputs = processor.apply_chat_template(
messages, tokenize=
True
, add_generation_prompt=
True
, return_dict=
True
, return_tensors=
"pt"
,
).to(model.device)
input_len = inputs[
"input_ids"
].shape[-
1
]
outputs = model.generate(**inputs, max_new_tokens=
1024
)
print
(processor.decode(outputs[
0
][input_len:], skip_special_tokens=
False
))#### 可变循环
要设置研究检查点中的循环次数,可以修改 text_config 中的 loop_num_passes。以下示例使用两次循环。
import
torch
from
transformers
import
AutoModelForMultimodalLM, AutoProcessor
model_id =
"thinkingmachines/TML-d24-varloop-research"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
text_config={
"loop_num_passes"
:
2
},
)
messages = [{
"role"
:
"user"
,
"content"
: [{
"type"
:
"text"
,
"text"
:
"Why is the sky blue?"
}]}]
inputs = processor.apply_chat_template(
messages, reasoning_effort=
"medium"
, tokenize=
True
, add_generation_prompt=
True
, return_dict=
True
, return_tensors=
"pt"
,
).to(model.device)
input_len = inputs[
"input_ids"
].shape[-
1
]
outputs = model.generate(**inputs, max_new_tokens= 1024 ) print (processor.decode(outputs[ 0 ][input_len:], skip_special_tokens= False ))
#### 图像与文本
对于图像提示,请将示例中的消息替换为以下列表,并按常规方式进行推理。
messages = [ { "role" : "user" , "content" : [ { "type" : "image" , "image" : "/path/to/image.jpg" }, { "type" : "text" , "text" : "What is in this image?" }, ], } ]
#### 推理努力程度
通过向 processor.apply_chat_template(...) 传递 reasoning_effort="medium" 来设置请求的推理努力程度。聊天模板会将数值作为系统消息添加到提示中。默认值为 high (0.9)。
inputs = processor.apply_chat_template( messages, reasoning_effort= "medium" , tokenize= True , add_generation_prompt= True , return_dict= True , return_tensors= "pt" , ).to(model.device)
可用等级包括 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9; 默认)、xhigh (0.99) 和 max (0.99)。您也可以传递 0.0 到 0.99 之间的数字,例如 reasoning_effort=0.35 。
#### 工具调用
让我们让模型调用一些工具。
在此示例中,我们询问模型某个给定位置的当前温度。在提示中,我们还提供了工具 (get_current_temperature) 来完成此操作。模型请求工具调用时,我们代表模型调用该工具,然后将输出添加到下一个指令集中。它使用工具的输出并为我们提供最终结果。
如果想了解更多关于工具调用的信息,我们建议查阅我们的官方文档。
import torch from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map= "auto" ) def get_current_temperature ( location: str , unit: str ): """ 获取某地的当前温度。 参数: location: 获取温度的地点,格式为 "City, Country" unit: 返回温度的单位。(选项: ["celsius", "fahrenheit"]) """ return 22.0
实际函数会在此处调用天气 API
def ask ( messages ): inputs = processor.apply_chat_template( messages, tools=[get_current_temperature], reasoning_effort= "low" , tokenize= True , return_dict= True , return_tensors= "pt" ).to(model.device) output = model.generate(**inputs, max_new_tokens= 1024 )[ 0 ][inputs[ "input_ids" ].shape[- 1 ] :] parsed = processor.parse_response(output, prefix=inputs[ "input_ids" ][ 0 ]) return parsed
messages = [{ "role" : "user" , "content" : "嘿,现在巴黎的温度是多少?" }]
reply = ask(messages) call = reply[ "tool_calls" ][ 0 ][ "function" ] print ( "模型调用:" , call[ "name" ], call[ "arguments" ])
模型会自动填写参数
temperature = get_current_temperature(**call[ "arguments" ]) messages += [reply, { "role" : "tool" , "name" : call[ "name" ], "content" : str (temperature)}] print (ask(messages)[ "content" ])
模型调用: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}
巴黎现在的温度大约是 **22°C**(约 **71.6°F**)。
### Llama App 和 Llama.cpp
Llama App 让你能够轻松在 macOS(通过菜单栏)或 Windows(系统托盘)上运行和管理本地语言模型。该应用基于 llama.cpp 开发,由同一团队打造。应用还提供了一个本地的 OpenAI 兼容 API,便于与代码代理、编辑器和脚本集成。
在 Inkling 2 Mini 发布时,我们为两个模型都提供了 GGUF 4-bit(IQ4_NL)和 8-bit(Q8_0)量化版本。
如果你使用的是 Linux 或希望通过命令行界面部署模型,可以运行以下命令启动固定循环模型:
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
要运行可变循环模型,可以执行:
llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL
如需加载 8-bit 权重,请将后缀改为 :Q8_0 。
在此示例中,我们让 4-bit 模型为一个名为 plant therapy 的 SaaS 创建网站,该网站将植物匹配给持证治疗师。模型具有高度自主性,它自行生成了网站的 SVG 视觉元素,甚至构建了匹配逻辑。
### SGLang
Inkling 2 Mini 在 SGLang 中提供开箱即用的支持。你可以安装最新版 SGLang 并执行以下命令启动服务。需要注意的先决条件是必须在 SM103 上运行:
export MODEL= "thinkingmachines/Inkling-2-Mini" python -m sglang.launch_server \ --model-path $MODEL \ --served-model-name inkling \ --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \ --tp 1 --page-size 128 --grammar-backend xgrammar \ --host 0.0.0.0 --port 30000
服务启动后,你可以通过以下方式调用 API:
curl -s localhost:30000/health_generate && echo OK curl -s localhost:30000/v1/models | python -m json.tool
curl -s localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "inkling", "messages": [{"role": "user", "content": "What is 17 times 24?"}], "max_tokens": 512, "reasoning_effort": "low" }' | python -m json.tool
你也可以通过添加 --enable-multimodal 参数启用多模态功能。
### 推测解码
SGLang 可以使用三层 DSpark 草稿为目标模型生成待验证的 token。草稿会读取解码器在位置 5、23、41 以及最终归一化状态位置 48 的输入。在加载草稿权重后,向服务命令添加 --speculative-algorithm DSPARK --context-length 131072 参数。
我们对启用了推测解码和未启用推测解码的模型进行了基准测试,并在单个 NVIDIA B300 GPU 上测量了生成速度,每个请求包含 1,024 个 token 的提示,生成恰好 1,024 个 token,并发数分别为 1、4、16 和 64。
显示 SGLang 基准测试脚本
MODEL=thinkingmachines/Inkling-2-Mini for TAG in base mtp; do EXTRA= "" ; [ $TAG = mtp ] && EXTRA= "--speculative-algorithm DSPARK"
启动服务器(启用或禁用MTP)
python -m sglang.launch_server --model-path $MODEL \ --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \ --tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \ --port 30000 $EXTRA > $TAG . log 2>&1 & until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done
在不断增加的并发量下进行基准测试
for C in 1 4 16 64; do python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \ --dataset-name random --apply-chat-template \ --random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \ --num-prompts $(( C* 4 < 32 ? 32 : C* 4 )) --max-concurrency $C \ --output-file results_ $TAG .jsonl done kill %1; wait done
### MLX
我们已将MLX支持上游到mlx-lm项目,包括多模态图像和文本输入,并通过mlx-community组织共享量化模型。
MLX推理也可以使用原始检查点。在这种情况下,使用原生的nvfp4 + mxfp8量化方案而无需重新转换:你可以获得作者原本设计的原始质量。
以下是一个CLI调用示例:
mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000
### 演示和氛围测试
我们已在许多有趣的任务中尝试过Inkling 2 Mini,查看本节了解详情。
#### 3D着色器飞行穿越
相同的提示生成了两个日落飞行穿越场景:一个是穿越程序生成的山脉和反射水面,每个场景都使用单个WebGL片段着色器渲染。
日落山脊(Inkling 2 Mini)
静海之上(Qwen 3.8 27B)
查看共享的飞行穿越提示
> 创建最令人印象深刻的实时场景:缓慢、电影风格的摄像机穿越程序生成的山脉,穿过体积云并在水面低空飞行,所有元素都由日落照明。将结果作为当前目录下的单个自包含index.html文件输出,该文件使用单个全屏WebGL片段着色器渲染所有内容(完全通过代码实现,不使用任何纹理、图像、字体、库、外部文件或网络请求)。它必须在桌面Chrome浏览器中以1920x1080分辨率流畅运行,目标是在桌面GPU上达到60fps,当帧率下降时自动降低内部渲染分辨率,飞行必须无限持续且无故障。要检查你的作品,请运行 node shot.cjs index.html shot.png 6(第三个参数是等待时间;逗号分隔列表如 3,12,25 每个时间点保存一张截图,可选的第四个参数设置尺寸,默认为1280x720):它会在无头Chrome中渲染页面,保存截图并打印WebGL渲染器、大致帧率和任何控制台错误;然后查看图片。这台机器上的无头渲染器可能是纯软件实现,因此其帧率可能远低于真实桌面GPU的性能,这并非目标。自行判断何时完成,然后用简短的描述说明你构建了什么。星夜,重生
文森特·梵高,《星夜》(1889)
Inkling 2 Mini 重现
我们为Inkling 2 Mini提供了梵高画作的参考图像,以及Pi编码框架中的截图助手。Inkling生成了一个自包含的HTML页面,其中仅包含一个WebGL2片段着色器。该着色器通过代码直接绘制场景,无需加载参考图像或任何其他资源。它利用时间参数实现天空漩涡、星光辉光、柏树摇曳和村庄窗户闪烁的动态效果。
Inkling在24轮截图检查中反复渲染并优化作品。我们使用Apple M4 Max在1080p分辨率和60fps帧率下逐帧录制了最终动画。
显示提示
在这个文件夹中,starry-night.jpg是文森特·梵高1889年的《星夜》(公共领域作品)。请将其重新创作成动态画作:一个自包含的index.html文件(所有代码内联,不依赖外部文件、库或网络请求),能够填满浏览器窗口,并在1920x1080分辨率的桌面Chrome浏览器中流畅运行。所有内容必须通过代码过程生成(例如使用WebGL着色器),页面不得加载、嵌入或采样starry-night.jpg或其他任何图像。请忠实还原画作的构图和配色(天空中巨大的螺旋和漩涡状的流动、环绕星光的光晕、发光的新月、左侧火焰状的柏树、起伏的山丘以及带有教堂尖顶的村庄),采用梵高厚重且有方向性的笔触进行渲染,并赋予其生命力:天空的漩涡流动、星光和月亮闪烁光芒、柏树摇曳、村庄窗户发光闪烁。请尽力实现最令人印象深刻的呈现效果。我们提供了一个辅助工具:运行命令node shot.js --help查看如何在不同时间点对index.html进行截图;将生成的截图与参考图进行比对,持续优化直至满意,最后用简短摘要说明你实现的内容。
#### 从草图到应用
输入草图
生成的Trip Split应用
我们为Inkling 2 Mini提供了手绘的Trip Split线框图照片,以及Pi编码框架中的一段文字提示。Inkling利用草图中的标签、示例支出和手写注释,在单个HTML文件中使用原生CSS和JavaScript构建了支出列表、添加支出表单和余额视图。该应用在支出变动时会自动更新总金额和余额,建议支付方案以结算旅行费用,并将数据保存在浏览器的localStorage中以应对页面刷新。
我们进行了三次独立的Inkling尝试,使用Playwright依次点击每个构建版本,对需要视觉判断的部分进行截图检查。首次尝试(如图所示)通过了所有13项测试。添加草图中$90的晚餐费用后,总金额从$405增加到$495,并重新计算了每个人应支付的金额。
此文件夹中的 sketch.jpg 是产品设计师手绘的小型应用线框图。请在此文件夹中构建一个真实的版本,尽可能制作成最令人印象深刻、原创且具备生产质量的版本:仅使用原生 HTML、CSS 和 JavaScript(不使用框架、CDN、外部文件或网络请求;使用 localStorage 是允许的),必须确保在 1920x1080 分辨率的桌面 Chrome 浏览器中流畅运行。将纸上的所有内容视为规格说明书:每一页界面、每个标签、按钮和数字,示例数据以及每条红色注释描述的行为都必须实际实现,而视觉设计、字体排版和动画效果则由你自由发挥以实现美观。请用你的视觉能力仔细审视草图,再用同样的标准检查自己的作品:node shot.cjs --help 解释了一个提供的截图辅助工具,可在无头 Chrome 中以任意窗口尺寸在点击或其他 JavaScript 操作后对 index.html 进行截图(如果需要,也可以使用已安装的 Playwright 自行编写脚本),你可以使用 read 工具查看任意截图。点击体验所有功能,将每个界面与草图对比,持续改进直到完全满意;完成后请用简短的总结说明你构建了什么。
#### 4 位模型
我们要求 4 位 GGUF 量化版本的 Inkling 2 Mini(IQ4_NL)为名为 plant therapy 的 SaaS 平台创建一个网站,该平台将植物匹配给持证治疗师。
该模型具有高度自主性,它自行生成了网站上所需的 SVG 图形,甚至构建了匹配逻辑,这一切都来自一个简短的提示:“你能为我的 SaaS 创建一个名为 plant therapy 的网站吗?我需要将室内植物与持证治疗师匹配,让植物不会死亡,返回单个 HTML 文件”。
#### “将自己转化为浏览器代理”
我们已将 Inkling 2 Mini 与 Pi 编码代理结合,使用 Helium、Chromium 和 Hugging Face 沙盒将其自身转化为浏览器代理。我们在此存储桶中提供了追踪记录和最终文件(可作为浏览器代理使用)。
#### 总结
我们非常高兴与 Thinking Machines Lab 合作推出 Inkling 2 Mini,这是一款适用于本地环境的高性能中型模型。请尝试使用该模型,并在评论区告诉我们你的看法!
本文提及的模型 1
更多博客文章
公告
多模态
Transformer
欢迎使用 Thinking Machines 的 Inkling
- +1
174
2026 年 7 月 15 日
Mistral
vllm
欢迎 Le Chonk:Mistral Large 4 上线 Hugging Face
- +7
91
2026 年 10 月 29 日
社区
编辑
预览
通过拖拽文本输入框、粘贴或
点击此处
上传图片、音频和视频。
点击此处粘贴以上传图片
评论
· 注册或登录后发表评论