Hugging Face Blog

AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms

6.9内容质量

TL;DR · AI 摘要

AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms Back to Articles -1 0 Published October 20, 2026 Updat...

核心要点

  • 主题聚焦：AnyLanguageModel 1.0: One Year of Local Models o
  • 来源：Hugging Face Blog，建议结合原文判断细节。
  • AI 分析暂不可用，本条为保底评分与摘要。
#AI#编程#后端#云计算#产品
打开原文

AnyLanguageModel 1.0：苹果平台上本地模型的一年

返回文章列表

[-1

]

[0

发布于2026年10月20日

GitHub上的更新

点赞

3

[

Mattt

关注

去年11月，我们在博客上推出了AnyLanguageModel：这是苹果Foundation Models框架的即插即用替代方案，允许开发者为应用选择使用的模型和提供商。我们收到了一些开发者反馈，他们对本地模型感兴趣，但不确定如何入门。他们也希望避免支持多个推理提供商带来的额外复杂性。AnyLanguageModel正是基于这些反馈开发出来的。

本地推理和云端推理各有优势，两者都在构建新一代智能应用中发挥着作用。统一的API使得为每个任务选择合适的模型更加容易。

一年后，经过数十次迭代，AnyLanguageModel 1.0正式发布，同时推出了swift-huggingface 1.0和swift-xet 1.0。

以下是主要变更和未来规划：

即插即用的兼容API

AnyLanguageModel的核心理念保持不变：使用Foundation Models API并选择最适合应用的模型。要开始使用，只需修改导入语句：

code
- import FoundationModels
+ import AnyLanguageModel

相同的会话代码可以与系统模型配合使用，通过llama.cpp、MLX和Core ML支持开源权重模型，也可以与下方的云端提供商配合使用。

过去一年，我们新增了多项重要功能：

  • 工具调用功能支持所有提供商。
  • 指导生成功能支持所有提供商，包括嵌套的@Generable类型和数组。
  • 图像支持功能允许使用Foundation Models 27的语法将图像附加到提示中，包括在iOS、macOS和visionOS 27上使用系统模型时。

在OS 27上，AnyLanguageModel还支持任何符合Foundation Models语言模型协议的模型，包括Core AI模型。

与AnyLanguageModel同步，我们开发了swift-huggingface和swift-xet，将Hub的加速模型下载功能引入Swift应用。

云端模型支持

今年云端模型的支持也得到扩展。AnyLanguageModel现在支持：

  • OpenAI的Chat Completions和Responses API
  • 适用于任何兼容端点的提供商的Open Responses
  • Anthropic的Messages API，支持自适应思考和努力选项
  • Google的Gemini API
  • Ollama
  • OS 27上的Private Cloud Compute
  • Hugging Face推理提供商，以及其他兼容OpenAI的端点（如OpenRouter），通过自定义基础URL

通过推理提供商，可以使用设备上无法运行的超大开源权重模型，使用相同的会话代码：

code
let
model
=
OpenAILanguageModel
(
    baseURL:
URL
(string:
"https://router.huggingface.co/v1/"
)
!
,
    apiKey:
ProcessInfo
.processInfo.environment[
"HF_TOKEN"
]
!
,
    model:
"openai/gpt-oss-120b"
,
    apiVariant: .chatCompletions
)

云端提供商与本地模型享有相同功能：指导生成、带流式传输的工具调用以及响应中的令牌使用情况。

推理过程现在也包含在转录中。当切换提供商时，如果新提供商无法重放推理块，系统会自动从请求中移除这些块。

API密钥现在通过闭包而非字符串获取，因此应用可以从自己的服务器获取短期令牌。README文档说明了何时允许用户自带密钥，以及何时通过代理路由请求。

AnyLanguageModel也可在Linux上运行，因此相同的代码也可在服务器上使用。

开源权重模型改进

虽然我们已经让本地模型更易于使用，但模型本身的能力也得到了提升，因此小型模型成为了一个不错的起点。以下是目前在模型库中下载量最高的几个模型：

  • 来自 Google 的 Gemma 4 E2B 模型，采用 GGUF 格式，使用量化感知训练后在 Q4_0 精度下约 3.4 GB。
  • 来自 Liquid AI 的 LFM2.5 2.6B 模型，采用 GGUF 格式，使用 Q4_K_M 精度下约 1.7 GB。
  • 来自阿里巴巴的 Qwen3.8 27B 模型（适用于 MLX），在 4 位精度下约 16 GB。

前两个模型可以运行在 iPhone 上，而 Qwen3.8 27B 模型可以在内存为 32 GB 或更高的 Mac 上运行。选择 MLX 模型只需一行代码：

code
let
model
=
MLXLanguageModel
(modelId:
"mlx-community/Qwen3.8-27B-4bit"
)

如果你手头有四台配置最高的 Mac Studio，Z.ai 的 GLM-5.3 模型在 BF16 精度下需要约 1.5 TB 的存储空间。对于其他人，可以通过推理服务提供商获取该模型。

升级到 1.0 版本

code
dependencies: [
    .package(
        url:
"https://github.com/huggingface/AnyLanguageModel"
,
        from:
"1.0.0"
,
        traits: [
"MLX"
]
    )
]

如果你正在升级现有应用，请参考 AnyLanguageModel、swift-huggingface 和 swift-xet 的发布说明中的迁移指南，以帮助更新代码。

社区的反馈和贡献塑造了我们的一些主要功能。感谢所有为使 AnyLanguageModel 更加适用于应用开发者的贡献者。

未来展望

语言模型已被证明是将智能融入产品的重要工具。它们也是开发者可以使用的多种模型之一。我们很兴奋将同样的方法扩展到更多功能：熟悉的 Swift API 与可在设备上运行的模型选择。即将推出：具有决策能力的模型和具有监听能力的模型。

相关链接

本文提到的模型 4

更多博客文章：

mlx

开源

社区

Jun Kim，oMLX 的创建者和维护者，加入 Hugging Face 支持 MLX 社区

  • +1

98

2026 年 9 月 22 日

公告

llm

你本会亲自提交的 PR

74

2026 年 4 月 16 日

社区

编辑

预览

通过拖拽文本输入框、粘贴或点击此处上传图片、音频和视频。

点击此处上传图片

评论

· 注册或登录以发表评论