What your base model doesn’t protect you from
TL;DR · AI 摘要
AI团队必须重视数据合规问题，因为训练数据的来源和使用直接影响模型性能和法律风险。
核心要点
- AI模型的训练数据来源和版权问题直接影响其法律风险和性能表现。
- 企业内部的操作数据可能比公开网络数据更具战略价值。
- 模型的微调阶段需要使用高质量、小规模的数据集进行优化。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- AI数据合规问题
- 数据来源与版权风险
- 训练数据的来源与法律权利
- 模型可能重复受版权保护的内容
- 数据的价值
- 企业内部数据的战略价值
- 公开网络数据的局限性
- 数据供应链
- 预训练与微调阶段的数据策略
- 数据可追溯性与基础设施
金句 / Highlights
值得收藏与分享的关键句。
一个近期的经济学论文估计，未计入官方GDP数据的数据价值平均占GDP的4%，近年来接近6%。
企业内部的操作数据可能比公开网络数据更具战略价值，因为它捕捉了企业实际运作方式。
模型在训练数据中重复受版权保护的内容，可能带来法律风险，而不仅仅是训练数据的问题。
基础模型无法保护你免受的问题 - 梯度流动
基础模型无法保护你免受的问题
发布者
2026年6月23日
发布于
未分类
标签：
newsletter
.meta-info
.post-thumbnail
订阅 • 前期问题
人工智能团队持续忽视的数据合规问题
我一直避免谈论版权和人工智能的问题。不是因为这个问题不重要，而是因为与我更感兴趣的工程和商业问题相比，它似乎更像是一个法律的边缘话题。但现在要为这种观点辩护变得越来越困难。几年前，我将我的播客命名为《数据交换》，这听起来有点讽刺，因为我当时相信数据市场将成为技术的核心，但后来却大多回避了这个数据讨论的角落。现在，数据问题已成为构建人工智能系统、竞争方式以及创造风险的核心。你无法认真谈论这些内容，而不最终触及到这些模型所训练数据的所有权问题。
如果你是经常阅读的读者，考虑成为付费支持者 🙏
对于人工智能团队来说，数据不再只是原材料。最近的一篇经济学论文估计，官方GDP数据中缺失的数据价值大约占GDP的4%，而在近年来则接近6%。对公司而言，更有意思的是其自身运营数据的相对价值：交易日志、使用记录、支持票、产品遥测数据以及客户互动。这些内部数据可能比公开网络数据更具信息性，因为它捕捉了实际业务的运作方式。对于人工智能构建者来说，实际的含义很简单：你公司内部的数据可能比你能从开放网络中抓取的任何东西都更具战略价值。
##### 数据供应链问题
第一个实际问题是来源：了解训练数据的来源、适用的权利以及是否可以在以后进行检查或重建。这以前听起来像是文书工作。现在看起来像是核心基础设施。模型所知道的内容、其表现良好的地方、其崩溃的地方以及其法律风险，都受到其训练数据的影响。预训练是模型从大量文本、图像、代码、书籍、新闻报道和其他来源中吸收模式的广泛阶段。后训练阶段是使用更窄、更精心策划的数据集，将模型引导到特定任务、行为和领域。这两个阶段既是工程问题，也是数据战略问题。对于大多数团队来说，立即采取的行动不是审计一个万亿token的预训练语料库。而是认真对待他们用于调整、评估和部署模型的较小但高价值的数据集。
记忆化增加了第二层风险。模型不需要像数据库一样运作就会造成麻烦。在适当的提示下，特别是当材料在训练数据中多次出现时，它可能会过于接近地复制受保护的文本、代码、歌词、图像或付费墙内容。这使得版权风险成为一个生命周期问题，而不仅仅是训练数据的问题。托管模型为提供商提供了更多空间来监控、过滤和限制可疑行为。发布的模型权重更难控制。不管怎样，团队都需要测试逐字复制、近似重复以及可能替代原始作品的输出。
大多数 AI 团队并没有进行预训练。他们使用一个基础模型并对其进行调整：在领域数据上进行微调、构建指令数据集、运行人工反馈循环、组建评估套件，或者搭建检索流水线。对于大多数开发人员来说，真正涉及数据工作的部分就在这里，而这也伴随着其自身的溯源问题。用于定制模型的数据，如客户支持日志、内部文档、专家注释、授权内容、第三方数据集，和其他堆栈中的任何部分一样，都需要同样的文档规范。这些数据来自哪里？适用哪些权利？是否在收集时获得了适当的同意？如果被质疑，是否可以复现？这些问题无论你是在微调一个垂直领域的助手，还是在构建一个评估框架时都至关重要，而答案往往比团队预期的要模糊得多。一个轻量级的数据物料清单可以帮助解决这些问题：记录每个数据集的来源、许可条款、同意状态、已知限制和预期用途。
在后训练环境中，还有一个容易被低估的技术风险。与大型预训练模型相比，微调模型更容易记住训练示例，部分原因在于数据集较小，示例可能重复。一个面向客户的模型，如果在专有文档、授权文本或第三方内容上进行微调，可能会以逐字逐句的方式复现这些材料，从而带来真正的法律风险。这种风险在训练结束后并不会消失。输出监控非常重要：相似性检测、内容标记，以及处理看起来像是试图提取受保护材料的提示的政策，都应是任何生产部署的一部分。没有单一的控制手段可以解决所有问题，而最容易措手不及的团队，往往是那些认为使用别人的基模型就意味着数据合规问题已经解决的团队。
##### 这些模型所使用的燃料归谁所有
我们还看到一个正式的数据许可市场正在兴起，其中主要的出版商和内容平台与人工智能实验室签订协议。虽然这为那些能够负担得起的人减少了法律上的不确定性，但它也有可能为富裕的现有企业创造巨大的护城河。大型人工智能公司能够负担得起广泛的或独家的协议，而小型实验室、初创公司、研究人员和开源项目则无法做到这一点。
法律环境在全球范围内也在不均衡地演变。美国仍然主要依赖于个案的合理使用论点。欧洲则更倾向于透明度、退出选项、文档记录和合规流程。一些亚太地区的司法管辖区似乎对计算分析更为宽容，但全球部署使一切变得复杂。在一个地方训练的模型可能在其他地方被使用、被质疑或被监管。实际上，许多公司会选择满足最严格可能的标准，特别是如果他们向大型企业和受监管行业销售产品的话。
这就是为什么人工智能和版权问题对我而言不再像是法律上的边缘话题了。它们涉及一个更大的问题，即数据市场将如何真正运作：谁会获得报酬，谁能够获得访问权限，谁能够证明自己使用了什么，以及谁能够负担得起最干净的输入数据。行业仍然需要在适应与归属之间找到一个可行的平衡点。数据不再仅仅是互联网的副产品或商业运营的残留物，它正在成为人工智能中的主要资产、瓶颈和矛盾焦点。那些将数据视为合规性检查框的团队，将会以一种艰难的方式认识到这一点。