The local AI question I had backwards

我对本地AI的误解——梯度流动

我对本地AI的误解

发布者

Ben Lorica

2026年10月13日

2026年10月12日

发布于

未分类

标签：

通讯

.meta-info

.post-thumbnail

订阅 • 历史期刊

本地AI是路由问题，而非隐私功能

我长期关注本地AI有一个简单原因：我宁愿不将专有代码、未公开的计划或企业运营知识发送给外部模型提供商，只要存在可行的替代方案。我希望对信息处理的位置拥有更多控制权。

企业无需为每位员工的电脑配备模型即可实现这一目标。一个安全的内部服务器就能将信息与外部提供商隔离。我承认这里有些理想化。但若以我的朋友为参考，我绝非唯一希望在自己的电脑上拥有强大模型的人。

每周学到新东西？考虑成为付费支持者吧🙏

变化在于现在更多任务可以在单个设备上运行。随着本地模型的改进，我开始更认真思考哪些任务适合放在笔记本或手机上，哪些需要内部服务器，哪些仍需外部提供商。隐私曾吸引我关注本地AI。但我觉得更有意义的问题是每个任务应该在何处执行。

##### 设备成为运行AI的场所

本地AI已出现在消费产品中。支持Pixel手机可在设备上总结录音，Windows系统可在无网络连接时生成实时字幕。人们在不下载模型或运行推理服务器的情况下使用这些功能。这正是它们实用的原因。开发者可以使用Moonshine Voice等开源项目构建类似功能，该项目支持设备端的语音转录和语音交互。

我预计会有更多商业应用跟进。运行本地模型的工具可以挑选合适的硬件、下载模型，并提供与托管AI服务类似的界面。开发者不再需要自己组装每个组件。

硬件也在进步，但我要谨慎对待普遍化结论。微软的Project Zenith项目针对至少配备64GB内存和250GB/s内存带宽的开发者级PC。这说明了高性能笔记本电脑的发展方向。但这并不意味着普通公司笔记本能运行相同的工作负载。

使用现有电脑也有成本。模型会与员工的应用程序争夺内存和计算资源。笔记本电脑会休眠和断开连接。将设备群视为AI算力是一种选择，但它并非免费且持续可用的计算集群。

##### 哪些工作该放在哪里？

我会从结果容易验证的明确任务开始。转录、文档分类、本地搜索和专注的编码协助适合放在笔记本上。共享的业务数据或需要持续可用的高要求应用可能需要内部服务器。当信息被批准进行外部处理时，外部提供商仍然是一个选项。

对本地编码模型的评估发现，带有具体指令的狭窄任务比广泛的代码探索效果更好。长时间对话的可靠性较低。手机内存和散热限制更严格，因此短而专业的任务是更实际的起点。

经济学原理并不像代币价格所暗示的那样显而易见。一项针对编码代理的研究显示，提示缓存使云端推理的每代币成本降低，但共享的本地基础设施的预估总成本却低约40%。专用硬件的成本高于缓存云端API，且本地配置需要大量维护工作。该研究仅涉及一名开发者，且未使用员工笔记本电脑。

我建议以正确完成任务的单位成本作为衡量标准，包括失败情况、返工、响应时间以及对员工电脑的影响。拥有硬件并不必然使推理更便宜。

##### 责任随工作转移

将推理任务转移到员工设备上，会改变企业对安全和管理的管控范围。模型和操作系统本身提供保护机制，但这些保护措施会因请求执行的位置不同而有所差异。

苹果允许开发者为其设备上的基础模型配置防护措施，但其私有云计算模型的策略无法由开发者直接配置。苹果还警告称，内置的安全防护可能无法识别特定应用的潜在危害。推理执行的位置不仅影响可用的保护机制，也影响开发者的控制权限。

模型更新可能改变响应结果，平台安全机制也可能演进。当底层系统发生变化时，开发者需要重新进行评估。企业还必须决定员工可安装哪些模型，保持批准版本的更新，并撤下有问题的版本。当员工自行下载模型时，本地推理会演变为终端设备管理问题。

我的最低要求非常明确。企业应清楚了解处理请求的模型、其运行位置、可访问的数据和工具，以及在模型失败时会发生什么。如果本地模型无法完成任务，应用程序不应将机密信息发送给外部提供商。

在个人电脑上运行代理程序同样面临类似风险。一个OpenClaw代理在未获得批准的情况下删除了电子邮件。我个人不会授予代理程序对个人文件的无限制访问权限，更不用说财务账户！敏感账户应始终保持不可访问状态，难以撤销的操作必须通过软件强制要求批准，而不仅仅是通过提示语请求批准。

##### AI运行位置成为设计选择

苹果展示了这一趋势的初步方向。其最新的基础模型系列覆盖了设备端执行和私有云计算，开发者框架也支持额外的本地和外部模型。演示的设备端模型具有8192代币的上下文窗口，而私有云计算的上下文窗口则达到32000代币。这些运行环境并非可以互换。

我不认为笔记本电脑和手机会取代内部服务器集群或外部服务提供商。但随着本地模型性能提升，运行这些模型的工具变得简单易用，我预计更多常规的AI工作将转移到人们日常使用的设备上。问题的关键在于确定每个任务的合适位置，并确保这一选择既可靠又经济且安全。

生物学面临的是数据问题，而非模型问题

在最近的AI大会上，我最喜欢的一场演讲来自Onyx的创始人，他们提出了一个发人深省的问题：生物学何时能迎来属于自己的ChatGPT时刻？他们的观点是，计算能力和模型并非瓶颈，数据量的庞大程度也不是关键制约因素。语言模型继承了一个文本、图像和意图早已相互关联的互联网环境，而生物学虽然拥有海量数据集，但基因、分子和临床测量数据很少来自同一批人，更不可能随时间持续收集。这让我再次想到我最近一直在强调的观点：有用的AI数据往往需要被构建，而非仅仅收集。我认为在创建这些领域专用数据集方面存在巨大机会。Onyx正在推进一个雄心勃勃的案例，他们正在构建一个虚拟免疫系统，旨在预测患者对疾病和治疗的反应。

了解更多

AI 是一种新的游戏机制

来自《为什么AI会让游戏变差——以及如何改进》