logo

版权与训练数据：工程师需要知道的边界

Published on
AILLM版权数据合规工程实践

版权与训练数据：工程师需要知道的边界

很多 AI 项目一开始都很顺利：找一批网页，爬下来，清洗，切片，做 Embedding，或者拿来微调模型。模型效果确实上去了，演示也很漂亮。直到某一天有人问：“这些内容我们有权使用吗？”团队才发现，数据已经复制到了对象存储、向量数据库、训练缓存、评测集和备份里，想回答“删掉”反而变成了一项大工程。

我后来越来越觉得，版权问题不是上线前找法务盖一个章就结束了。它和代码质量一样，应该进入数据管道：每条数据从哪里来，允许做什么，不能做什么，保存多久，输出时如何引用，都应该能追溯。

先说明一点：本文是工程实践，不是针对具体案件的法律意见。不同国家和地区对合理使用、文本与数据挖掘、数据库权利、个人信息和生成内容的规则不同，商业项目仍然需要专业法律意见。工程师要做的，是把这些要求落实成可以检查的系统约束。

一、先区分四件常被混在一起的事

“用了某段文本”并不是一种单一行为。至少要分成四类：

  1. 训练：把数据用于改变模型参数。
  2. 检索：把原文存入知识库，按问题召回，再提供给模型。
  3. 缓存：为了加速，把请求、答案或文档暂时保存。
  4. 输出：模型把相似内容重新生成、总结或展示给用户。

同一份内容，对这四种用途的授权可能不同。一个网站允许个人阅读，并不自动意味着允许下载后用于训练；一个客户允许你为其内部问答建立 RAG，也不等于允许你把内容混入所有客户共享的模型训练集。

工程上最好不要只保存一个 allowed: true。可以把权限拆成具体动作：

type DataPermission = {
  canStore: boolean
  canEmbed: boolean
  canRetrieve: boolean
  canTrain: boolean
  canDisplayQuote: boolean
  expiresAt?: string
}

type DataSource = {
  id: string
  origin: string
  license: string
  owner: string
  permission: DataPermission
}

这样，当业务从“内部检索”扩展到“训练一个专用模型”时，系统不会把所有数据默认当成可训练数据。

二、数据来源要能追溯

数据进入系统时，至少记录来源 URL、获取时间、来源类型、许可证声明、授权主体、处理目的和抓取规则版本。对于用户上传文件，还要记录上传者、所属租户、授权范围和撤回状态。

type IngestManifest = {
  sourceId: string
  sourceUri: string
  fetchedAt: string
  contentHash: string
  license: string
  consentRef?: string
  processingPurpose: 'rag' | 'evaluation' | 'fine_tuning'
  deletionStatus: 'active' | 'requested' | 'deleted'
}

contentHash 很重要。网页会变化，同一个文件也可能被重新上传。没有版本和哈希，你无法证明某次训练究竟用了哪一版数据，也无法在收到删除请求后找出所有派生切片。

如果是开源数据，要保存许可证原文或稳定引用，不要只在表里写一个“开源”。MIT、Apache-2.0、GPL、CC BY、CC BY-NC 的要求并不相同，署名、相同方式共享、商业使用和衍生作品限制都可能影响产品设计。

三、RAG 不等于自动获得版权许可

有人会说：“我没有训练模型，只是把用户自己的文档放进向量库，所以没有版权问题。”这仍然过于简单。

RAG 的确和训练不同，但它仍然涉及复制、存储、处理和向用户提供内容。企业内部知识库通常需要在合同或产品条款里明确：客户授权平台为其提供检索和生成服务，平台如何保护内容，供应商是否会接触原文，服务结束后如何删除。

检索结果也不能默认整段原文无条件展示。对于书籍、付费文章或第三方资料，可以考虑只返回必要的短引用、摘要和来源链接，并设置引用长度限制。引用不是万能护身符，但它能让用户知道答案来自哪里，也能减少模型把整篇内容复述出来的风险。

function buildCitation(chunk: Chunk, maxChars = 300) {
  return {
    sourceId: chunk.sourceId,
    title: chunk.title,
    url: chunk.url,
    quote: chunk.content.slice(0, maxChars),
  }
}

上面的长度限制只是工程控制，不代表它自动符合某地法律。真正的规则需要结合数据来源和业务场景判断，但系统至少应该有能力执行限制，而不是每次都把完整文档塞给模型。

四、训练集和评测集最容易失控

训练集往往会从很多地方拼出来：公开语料、内部工单、用户反馈、线上对话、人工编写样本。评测集则经常直接从生产日志抽样。如果没有单独的授权记录，敏感数据和受限制内容就会悄悄进入模型改进流程。

建议把“是否可训练”和“是否可评测”作为两个独立字段。某个客户允许用匿名样本评估产品，并不一定允许用这些样本更新模型。生产日志也不应该直接复制到训练目录，至少要经过脱敏、筛选、授权确认和人工抽查。

function eligibleForTraining(asset: DataAsset) {
  return (
    asset.permission.canTrain &&
    asset.deletionStatus === 'active' &&
    asset.sensitivity !== 'sensitive' &&
    asset.license !== 'unknown'
  )
}

这个函数不能替代法律判断，但它可以阻止最明显的错误。对于 unknown，正确的默认行为应该是拒绝进入训练，而不是把未知解释成允许。

五、删除请求要能一路追到底

“我们已经从主数据库删除了”通常不是完整答案。一份内容可能存在于：

  • 原始文件存储；
  • 文本解析结果；
  • 向量和关键词索引；
  • Prompt 缓存和答案缓存；
  • 训练数据快照；
  • 评测集和人工标注系统；
  • 备份和灾备副本。

因此数据删除应该是一条事件链，而不是一次 SQL：

删除请求
  ↓
登记 sourceId 与版本
  ↓
删除原始文件与解析结果
  ↓
删除向量、关键词索引和缓存
  ↓
冻结进入训练与评测的资格
  ↓
通知下游系统处理快照
  ↓
回查并生成删除审计报告

训练后的模型参数无法像数据库记录一样简单地按行删除。是否需要重新训练、如何处理模型记忆，要根据训练方式、数据规模和适用规则评估。工程上最重要的预防措施，是保存训练清单，让团队知道哪些数据进入了哪一次训练，而不是训练完成后只剩一个模型文件。

六、模型供应商也是数据链路的一部分

调用外部模型时，别只看价格和上下文长度。还要确认供应商对输入输出的保存、训练使用、地域、分包商、删除和安全事件通知规则。不同 API、不同套餐甚至不同区域，数据政策都可能不同。

应用层可以为每个模型配置数据策略：

type ModelPolicy = {
  model: string
  acceptsPersonalData: boolean
  retainsInput: boolean
  usesInputForTraining: boolean
  allowedClassifications: DataClass[]
}

发送前做策略检查：当前内容分类是否允许到达这个模型？如果不允许，是脱敏、改用内部模型，还是直接拒绝？这一步应该在模型适配层统一完成，不要让每个业务页面各自判断。

七、输出也要做版权和来源审查

输入数据合规，不代表输出天然没有风险。模型可能生成与某篇作品高度相似的内容，也可能在没有来源时自信地编出一个链接。面向用户展示时，至少要检查：引用是否真实存在，引用是否来自当前租户允许访问的资料，是否超过展示长度，是否把内部内容带到了公共页面。

对于高风险场景，可以保留人工审核或设置发布门槛。比如内部助手可以自动回答，公开发布的文章、营销材料和法律相关文本则需要人工确认。自动化的价值是减少重复劳动，不是把所有责任假装交给模型。

八、我建议团队建立一张“数据护照”

每份进入 AI 系统的数据，都应该有一张可查询的护照：来源是谁，什么许可证，授权做什么，什么时候过期，经过了哪些转换，进入了哪些索引、评测集和训练任务，删除时需要通知哪些系统。

这张护照让工程师在面对新需求时不再靠猜。产品说“把所有历史对话拿来训练”，系统可以告诉他哪些能用、哪些需要补授权、哪些必须排除；法务问“这份数据现在在哪里”，团队可以给出具体链路，而不是翻几十个脚本和存储桶。

总结：未知不是允许，能追溯才有底气

我现在最警惕的一句话，是“这批数据应该没问题”。“应该”意味着来源没登记，授权没拆分，删除没验证，输出也没有边界。AI 项目速度很快，但速度越快，越需要把数据记录和权限控制提前放进去。

版权工程的核心不是把所有数据都拒绝掉，而是知道每份数据为什么能用、能用到哪一步、何时必须停下来。训练、检索、缓存和输出是不同动作；开源、公开、客户授权和内部资料也不是同一种许可。

当来源、许可证、处理目的、模型供应商和删除链路都能被系统记录时，团队才真正拥有了选择权。我们可以更放心地做实验，也能在需求变化、客户撤回或规则更新时迅速调整，而不是等问题发生以后，才在一堆没有名字的文件和向量里寻找答案。

🤪 您也可以编辑此页：