Together AI brings Thinking Machines Lab’s new model Inkling on day 0

Together AI 在发布当日推出 Thinking Machines Lab 新模型 Inkling

今日，Thinking Machines Lab 发布了 Inkling，这是一款专为高效推理、原生多模态理解和广泛任务适配而设计的新型多模态专家混合模型。Together AI 非常高兴能与 Thinking Machines Lab 团队合作，通过我们的推理平台向开发者开放 Inkling。

Inkling 通过统一的解码器架构接受文本、图像和音频输入，并生成文本输出。它支持可控制的推理资源投入，允许开发者根据每项任务的需求调整模型的推理深度。其后训练覆盖了科学推理、编程、智能代理工作流、预测和校准预测等广泛能力。

在技术实现层面，Inkling 在传统单解码器 Transformer 架构基础上引入了多项创新，包括查询条件相对注意力机制、模型全链路短程因果卷积，以及配备共享专家池的专家混合架构。这些组件协同工作，旨在实现强大的推理能力和多模态处理性能，同时保持高效的模型执行效率。大规模高效部署具有挑战性，这正是 Together AI 推理栈专为优化的场景。通过我们的平台，开发者可以在实际生产推理中直接获得 Inkling 的效率优势。在 Together AI 上，Inkling 采用基于优化后的 FlashAttention-4 注意力内核运行，该内核专为高效支持其查询条件相对注意力机制而设计。

祝贺 Thinking Machines Lab 团队完成 Inkling 的发布。

Inkling 亮点概览

• 高效可控的推理：开发者可调整推理资源投入，平衡不同工作负载下的推理深度、token 使用量和延迟。
• 原生多模态输入：Inkling 支持音频、图像和文本输入，并通过单一模型生成文本输出。
• 广泛的任务适配性：模型经过后训练，覆盖推理、编程、智能代理、预测和校准预测等任务。
• 差异化架构设计：Inkling 融合了分组查询注意力、学习型相对位置偏置、短程因果卷积和共享专家池的专家混合路由机制。
• 优异的初步评估表现：在最高推理资源投入设置下，Inkling 在科学推理、数学、编程、智能代理、视觉和音频基准测试中均表现出色。
• 可通过 Together AI 获得：开发者可通过无服务器架构访问 Inkling，支持 1M 上下文窗口和 OpenAI 兼容 API。

在复杂推理任务中的卓越表现

当前 Inkling 检查点的初步评估显示，其在研究生级别科学推理和竞赛数学任务中表现突出：

这些结果凸显了 Inkling 的核心特性之一：多功能性。同一模型在知识密集型推理、数学问题解决、软件工程、浏览器任务、视觉文档理解和音频理解等场景中均能取得优异表现。

Inkling 还经过了预测和校准预测任务的后训练。这使模型的应用场景超越了传统问答，扩展到需要表示不确定性并生成校准预测的重要领域。

‍

为何选择在 Together AI 运行 Inkling?

零配置即用：Inkling 今日已在 Together AI Serverless 上线。无需等待资源容量，无需部署基础设施，无需管理 GPU。

全面的多模态输入支持，单一接口：由于 Inkling 原生支持文本、图像和音频输入，您无需设置独立的处理流程或预处理服务。Together AI Serverless 通过单一 API 调用即可处理所有三种输入类型。这种设计的优势在于，Together 的统一方案消除了延迟、速度和运营稳定性之间的权衡。

无需管理基础设施即可控制推理强度：Inkling 的可调节推理强度设置允许您在深度、延迟和每请求 token 消耗之间进行权衡。在 Together AI 上，您可以通过 API 直接控制该参数，使成本和速度调整在请求级别完成，而非基础设施级别。

用于推理和多模态处理的新架构

Inkling 是一个仅解码器的专家混合模型，总参数量达 975B，每个 token 激活 40B 参数，上下文窗口长度为 1M tokens。

与使用 RoPE 或绝对位置编码不同，Inkling 通过学习得到的、基于查询的相对偏置，将 token 位置直接整合到注意力机制中。每个注意力层在传统查询-键相似度评分基础上，额外结合 token 之间的相对距离评分。这种设计为模型提供了灵活的机制来表示 token 顺序和邻近上下文。

Inkling 在网络中混合使用滑动窗口注意力和全因果注意力。标准架构采用五层局部注意力层后接一层全注意力层，使大部分层能高效聚焦近期上下文，同时定期整合完整序列信息。

该模型还引入了 sconv，这是一种轻量级的通道级因果卷积，感受野为四个 token。sconv 在注意力计算前应用于键和值流，也应用于注意力和前馈子层的输出。这些短距离卷积为每个层提供了额外的机制，在不增加完整注意力操作成本的情况下整合相邻 token 信息。

Inkling 的前馈层采用带共享专家池的专家混合架构。对于每个 token，路由器会同时选择少量定向专家并分配共享专家权重。与传统共享专家 MoE 设计不同，Inkling 对共享专家和选定定向专家进行联合归一化，使共享路径能在每个 token 上动态竞争混合权重。

Inkling 同样支持图像和音频输入。轻量级嵌入塔将图像块和量化音频特征转换为与文本 token 嵌入宽度相同的嵌入向量。这些嵌入直接插入模型输入序列，由相同的解码器堆栈进行处理。

统一的文本、图像和音频输入

Inkling 支持三种输入模态：文本、图像、音频。所有模态均通过相同的解码器堆栈处理，输出生成文本。

轻量级嵌入塔将图像块和量化音频特征转换为与文本 token 嵌入宽度相同的嵌入向量。这些表示直接插入模型输入序列，使语言模型能够对文本、视觉和音频信息进行联合推理。

这种统一设计支持视觉问答、文档分析、音频理解、多模态代理以及在同一对话中结合多种输入类型的流程等应用。

立即通过Together Serverless开始使用Inkling

Inkling目前已通过Together AI Serverless提供服务。

开发者可以：

• 使用统一模型构建文本、图像和音频应用
• 从初始实验规模扩展到专用生产环境

from together import Together

client = Together()

response = client.chat.completions.create(
    model="[INKLING MODEL ID]",
    messages=[
        {
            "role": "user",
            "content": "仔细分析这个问题并提供答案。"
        }
    ],
    # 替换为最终支持的API参数
    reasoning_effort="[SUPPORTED VALUE]",
)

print(response.choices[0].message.content)