Something changed in how AI gets fed
TL;DR · AI 摘要
AI训练数据获取正面临基础设施和访问规则双重挑战，机器人训练需数据转换系统，网络访问权限细分，检索数据可能引发安全风险。
核心要点
- 机器人训练需将1800小时人类视频转换为18000小时机器人可用数据
- 学术出版商开始区分AI训练与检索使用权限
- 35%网页含AI生成内容，可能被编码代理误用
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI数据获取挑战
- 数据转换基础设施
- 视频→机器人数据转换
- 访问规则演变
- 训练/检索权限分离
- HTTP 402付费机制
- 检索数据风险
- 恶意软件植入风险
金句 / Highlights
值得收藏与分享的关键句。
1800小时人类视频可转换为18000小时机器人训练数据
学术出版商明确禁止AI训练使用但允许检索使用
35%网页含AI生成内容，可能被编码代理误用
AI获取数据的方式发生了变化 - 梯度流
AI获取数据的方式发生了变化
发布者： Ben Lorica 2026年9月29日
发布于： 未分类
标签： newsletter
.meta-info
.post-thumbnail
订阅 • 前期期刊
AI数据问题向下游转移
去年我曾撰文指出，机器人领域存在数据问题，而语言模型幸运地避开了这一困境。文本、图像和代码在几十年前就已经积累，直到有人决定用它们来训练模型。而机器人领域则没有类似的物理体验互联网。
这一区分开始变得不再清晰。近期的系统已开始在大量人类视频数据集上进行训练。一家公司报告称使用了超过一百万小时的视频数据，另一家公司则将约1900小时的第一视角人类视频转换为超过18000小时的机器人格式训练数据。有趣的是，问题的关键不在于机器人突然找到了缺失的数据集，而在于这些系统都需要大量基础设施，将人类体验转化为机器人真正可用的内容。
我之前的两篇文章聚焦于数据公司已经拥有的资源。本文将探讨问题的另一部分：信息可能以存在，但系统无法使用。
如果你觉得这篇文章有帮助，欢迎成为付费支持者 🙏
##### 互联网正在演变为有规则的市场
在数字领域，类似的变化正在从相反方向发生。信息早已存在，但获取条件却变得越来越严格。
一家学术出版商最近允许AI研究产品检索部分书籍，但明确拒绝授予模型训练权限。这一区分至关重要。"用于AI"的权限正在被拆分为训练、检索、推理等不同权限，未来可能还会扩展到其他用途。
技术基础设施也朝着相同方向发展。网站所有者可以越来越清晰地区分用于搜索、训练和代理的爬虫。一个封闭测试系统甚至允许爬虫接收到带有访问价格的HTTP 402响应。市场仍处于初级阶段，但协商访问权限的基础设施已经存在。
信任也变得愈发困难。自ChatGPT发布以来，超过三分之一的网页显示出显著的人工智能作者特征。更令人担忧的是，一些网站专门生成数十万页内容，其设计目的就是为了成为AI推荐系统的证据。
我最近撰文讨论了数据集部署前来源风险的问题。而新的问题则出现在部署之后。
##### 被检索的数据可能产生行动
训练数据集可以被清点、授权、审计和删除。但没有人能提前审计代理明天可能遇到的每一页网页或文档。其中部分信息将来自公司无法控制的来源。
当系统能够采取行动时，这种差异变得尤为重要。研究人员最近在超过100个网站上发现了文档，导致编码代理安装了无法确定所有权的软件。另一项研究显示，恶意工具从共享库中被检索后，可能被自我进化的编码代理复制、存储为新技能并进一步传播。
这正是我认为检索正在成为安全边界而非单纯搜索质量问题的原因。研究人员已经开始在这一边界上进行源信任评分、跨文档一致性检查和数据净化等实验。
搜索系统可以将错误信息转化为错误答案，而代理系统则能将其转化为行动。对代理系统而言，出处（provenance）的性质开始从元数据逐渐演变为软件供应链安全。你不仅需要知道系统读取了什么信息，还需要知道这些信息被允许引发什么后果。
##### 机器人找到的是管道，而非语料库
人类视频看似是解决机器人数据短缺问题的显而易见的答案，但当你仔细观察新系统实际运作方式时，这种观点就不成立了。
一种管道将人类动作重新映射到机器人身体上，将机械臂插入视频中，过滤结果后，再将合成数据与真实机器人演示相结合。另一种方法则从人类和机器人视频中学习，随后在机器人轨迹中验证所学内容，再将其适配到执行任务的具体机器上。人类视频是有用的原始材料，但它并非机器人自身的经验。
最大规模项目背后的基础设施更清晰地说明了这一点。处理吞吐量需要从每周14,000个剧集小时提升到440,000个剧集小时。将原始数据转化为训练系统可用格式的过程，过去需要约48小时，现在只需不到一分钟。在如此规模下，工作内容包括数据转换、质量检查、元数据处理、存储、缓存以及持续的训练准备。
所有这些都改变了我对机器人数据问题的看法。机器人领域并未发现一个物理经验的互联网，而是在构建能够将人类经验转化为物理经验的机器。
这一区别至关重要，因为这些基础设施可能在经济重要性上与机器人本身相当。收集、清理、翻译、验证并持续更新物理经验的过程，开始看起来像是机器人技术栈中一个独立的层级。
##### 有用的数据是输出结果
贯穿始终的共同点并非数字代理和机器人使用相同类型的数据。显然它们并不相同。真正重要的是，有用的数据越来越多地出现在流程的末端而非起点。这项技术是新的，但数据问题却十分熟悉。
对于数字代理而言，这个流程决定了哪些外部信息可以进入系统，以及系统被允许如何处理这些信息。对于机器人而言，这个流程将人类视频和演示转化为机器可学习的数据。机制虽有差异，但在两种情况下，有用数据都必须从原始材料中构建出来。
这引出了一个管理问题，我怀疑许多公司都无法清晰回答：谁拥有将原始信息和经验转化为AI系统可安全使用的成果的这项工作？
##### 中间环节的工作
模型越来越容易购买。网络上可能充满了代理系统仍无法安全使用的数据。人类视频资源丰富，但困难之处在于如何将其转化为机器人可用的内容。在两种情况下，数据问题都已从寻找原材料转移到完成使其可用所需的工作。
超越Transformer：构建智能的另一种方式
来自《Transformer之后会发生什么？》
我认为开放AI模型将获胜的六个原因
来自《我认为开放AI模型将获胜的六个原因》