AI
为什么开源模型生成的文本无法被可靠地溯源追踪?
84
机会
闭源模型提供商可以在推理时向生成文本中嵌入统计水印,从而在事后将内容归因于特定模型。开源模型让用户完全访问解码过程,因此只需修改几行采样代码即可去除任何生成时的水印。对已生成文本进行事后水印标记在改写攻击下会失效。将标记嵌入模型权重能抵御部分攻击,但无法抵御微调——任何在本地运行权重的人都可以在一个下午内完成微调。截至2025年底,尚无任何方案能为开放权重模型的输出提供实用、防删除的来源标记,学术界也承认这一问题尚未解决。
为什么重要
对于开放模型,在没有水印的情况下,AI生成文本的来源仅在生成方主动配合时才可追溯。
我如何评估机会
机会评分是我的个人判断,而非量化指标:痛苦程度、发生频率,以及当前解决方案的匮乏程度。分数越高,意味着我认为越值得去构建。
严重性8/10
出现时造成的痛苦程度。
频率8/10
人们实际遇到它的频率。
空白空间9/10
当前针对它的优质工具有多匮乏。