不是假设,是正在发生的事
2025年12月,美国加州一起自动驾驶事故诉讼中,被告方(自动驾驶公司)的辩护律师说了一句话:“我们的系统在测试中达到了99.99%的可靠性,这在行业内是领先的。”
法官反问:“这个99.99%是按什么标准测的?”
律师沉默了。
这个场景揭示了AI安全领域最核心的问题:没有公认的安全标准,每个人都在定义自己的"安全"。
标准缺失的代价
案例一:AI医疗诊断的"自信误判"
2025年,一所知名医院部署了AI辅助诊断系统,用于皮肤癌筛查。系统在内部测试中准确率达到95%,医院非常满意。但上线三个月后,皮肤科医生发现了一个令人不安的模式:系统在对某些深色皮肤的病例上,准确率骤降至72%。
原因很简单:训练数据中浅色皮肤的样本占85%以上。系统在浅色皮肤上学到了足够多的特征,但在深色皮肤上几乎是"盲"的。
问题在于:AI系统的准确率报告中没有分肤色统计。如果有一个安全标准要求"分人群亚组报告准确率",这个问题在部署前就能被发现。
案例二:AI司法辅助的"系统性偏见"
2024年,美国某州引入了AI风险评估工具用于保释决策。后续调查发现,该系统对非裔被告的错误高风险评估率是白人被告的2.3倍。这个偏差在系统的测试报告中从未被提及。
如果有一个安全标准要求"分种族、性别、年龄报告偏差指标",这个系统可能根本不会被批准部署。
案例三:自动驾驶的"长尾场景"
2024-2025年间,全球自动驾驶事故中,超过60%发生在新加坡南洋理工大学定义的"长尾场景"中——即训练数据中极少出现或从未出现的情况。这些场景包括:雪天路面上被风吹动的塑料袋、穿着奇装异服的行人、路中间突然出现的动物。
问题不在于自动驾驶系统在"正常场景"下不够好,而在于没有一个统一的标准来定义"需要覆盖的长尾场景集合"。
为什么标准难产?
原因一:技术还在快速变化。 今天定的标准,明天可能就过时了。标准制定者面临一个两难:定得太早,标准跟不上技术;定得太晚,事故已经发生。
原因二:利益博弈。 安全标准会直接影响企业的合规成本。大公司倾向于制定更严格的标准(因为它们有能力满足),创业公司则担心严格的标准会扼杀创新。
原因三:缺乏数据。 制定安全标准需要大量的实证数据——什么样的AI行为是"不安全"的?但AI事故数据往往被企业视为商业机密,不愿公开。
正在出现的曙光
尽管困难重重,AI安全标准建设正在加速:
- 欧盟AI法案(EU AI Act)于2024年通过,将AI系统按风险等级分级管理,对高风险AI系统提出了强制性安全要求
- ISO/IEC 42001(AI管理体系标准)已于2023年发布,为组织层面的AI治理提供了框架
- 中国在2024年发布了《生成式人工智能服务安全基本要求》,对训练数据安全、模型安全、服务安全提出了具体要求
- NIST AI风险管理框架(AI RMF 1.0)提供了可操作的AI风险管理指南
从业者应该做什么?
等待标准完善不是选项。在标准追赶技术的这段时间里,你可以做的是:
- 建立内部安全基线。 即使没有行业标准,你的团队应该有自己的安全底线
- 分亚组报告指标。 不要只看整体准确率,按人群、场景分组报告
- 建立事故报告机制。 当AI系统出现安全问题时,有清晰的报告和处理流程
- 关注标准进展。 参与标准制定,至少关注标准草案的征求意见
AI安全标准不是束缚创新的枷锁,而是保护创新不变成事故的护栏。
你的团队在AI安全方面有什么实践?欢迎分享。