Vercel News

Inkling from Thinking Machines is now available on AI Gateway

8.5内容质量

TL;DR · AI 摘要

Inkling模型现已在AI Gateway上提供,支持多任务处理,AI Gateway提供统一API和性能优化。

核心要点

  • 使用Inkling需在AI SDK中设置model: 'thinkingmachines/inkling
  • AI Gateway支持零数据保留、预算控制和路由规则配置
  • AI Gateway按提供商定价无平台费,包含BYOK请求支持

结构提纲

按章节快速跳转。

  1. 宣布Inkling模型在AI Gateway平台正式可用

  2. Inkling是跨领域通用模型,支持可控推理努力

  3. 提供AI SDK调用Inkling的代码片段示例

  4. AI Gateway提供统一API管理、成本追踪和性能优化

  5. 支持零数据保留、预算控制和自定义路由规则

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI Gateway新功能
    • Inkling模型
      • 多任务训练
      • 可控推理
    • 平台特性
      • 统一API管理
      • 零数据保留
      • 无平台费用

金句 / Highlights

值得收藏与分享的关键句。

#AI Gateway#Inkling#模型发布#API优化
打开原文

Thinking Machines 的 Inkling 现已上线 AI Gateway - Vercel

Thinking Machines 的 Inkling 现已上线 AI Gateway。

Inkling 是一个通用型大模型,训练覆盖代理、推理、编码、指令遵循、事实性、视觉和音频任务,而非针对单一领域进行优化。该模型还支持可控的思考努力。

使用 Inkling 时,在 AI SDK 中将模型设置为 thinkingmachines/inkling:

code
1
import
{
streamText
}
from
'ai'
;
2
3
const
result
=
streamText
(
{
4
model
:
'thinkingmachines/inkling'
,
5
prompt
:
'Summarize this report and list the key risks.'
,
6
}
)
;

AI Gateway 提供统一的 API 接口,用于调用模型、跟踪使用情况和成本,并配置重试、故障转移和性能优化,以实现高于服务商的可用性。它包含内置的自定义报告功能、零数据保留支持、API 密钥预算、路由规则等功能。

AI Gateway 以服务商定价为基础,无任何加价,且不对推理过程收取平台费用,包括 Bring Your Own Key (BYOK) 请求。

在模型游乐场体验 Inkling。

AI Gateway:按使用量追踪顶级 AI 模型

AI Gateway 模型排行榜按时间维度追踪最受欢迎的模型,根据所有网关流量中处理的总 token 数量进行排名。

查看排行榜