AI
为什么我总是要等到模型上线后，才发现它能做哪些危险的事情？
85
机会
自动化红队测试工具（如 GCG、AutoDAN 和 PAIR）报告的攻击成功率为 5% 至 15%，这给人一种虚假的安全感。针对同类模型进行的多轮人工红队测试，在相同类别上发现失败的概率高达 75%。这一差距意味着，生物武器合成指导或进攻性网络攻击等危险能力提升，在自动化部署前阶段被遗漏，转而在实际应用中才被发现。前沿实验室在 Anthropic 的 RSP 和 METR 的 TaskDev 等框架下开展自有的人工评估，但方法论记录不完整、缺乏标准化，导致没有两家实验室的测试具有可比性。NIST 的 AI 智能体红队测试指南在 2026 年初仍处于注释提纲阶段，预计将于 2026 年底至 2027 年正式发布。
为什么重要
在广泛部署的模型上线后才发现危险的涌现能力，与在发布前就被捕获相比，是截然不同量级的问题。
我如何评估机会
机会评分是我的个人判断，而非量化指标：痛苦程度、发生频率，以及当前解决方案的匮乏程度。分数越高，意味着我认为越值得去构建。
严重性10/10
出现时造成的痛苦程度。
频率6/10
人们实际遇到它的频率。
空白空间8/10
当前针对它的优质工具有多匮乏。