一个危险的假设

“联邦学习保护隐私”——这句话在AI圈几乎成了共识。但它是真的吗？

我们团队花了两个月时间，对FATE、OpenFL和TensorFlow Federated三个主流联邦学习框架进行了系统的隐私安全测试。测试结论是：联邦学习可以减少隐私风险，但不能消除隐私风险。如果你把联邦学习当作隐私保护的万能药，你会付出代价。

测试方法

我们设计了三类攻击，模拟真实场景中的隐私威胁：

攻击一：梯度反推攻击（Gradient Inversion Attack） 攻击者（可能是恶意服务器）截获客户端上传的梯度，试图从梯度中恢复原始训练数据。

攻击二：成员推断攻击（Membership Inference Attack） 攻击者试图判断某个特定数据样本是否被用于训练联邦模型。

攻击三：属性推断攻击（Property Inference Attack） 攻击者试图从模型更新中推断出客户端数据集的统计属性（如性别比例、收入分布等）。

我们在三个框架的默认配置下，分别测试了图像分类（CIFAR-10）和文本分类（IMDB）两个任务。

测试结果

梯度反推攻击：

框架默认配置下可恢复程度加差分隐私后
FATE中等（可恢复模糊轮廓）大幅降低
OpenFL高（可恢复清晰图像）大幅降低
TFF中等大幅降低

OpenFL在默认配置下暴露了最多信息。我们在CIFAR-10上，可以从梯度中恢复出几乎可以辨认的原始图像。FATE和TFF稍好，但也不是绝对安全。

成员推断攻击：

三个框架在默认配置下，成员推断攻击的成功率都在60%-75%之间（随机猜测是50%）。这意味着攻击者可以以显著高于随机的概率，判断某个特定数据是否被用于训练。

属性推断攻击：

最令人担忧的是属性推断。即使不恢复原始数据，攻击者也可以从模型更新中推断出客户端数据集的全局属性。比如，在IMDB数据集上，我们成功推断出了每个客户端数据集中正面评论和负面评论的比例，准确率高达89%。

核心发现

发现一：联邦学习本身不提供隐私保护，它只提供数据不离开本地的保证。 但模型更新（梯度）本身携带了大量关于本地数据的信息。没有额外的隐私保护措施，联邦学习只是把数据泄露的风险从"数据层面"转移到了"模型层面"。

发现二：差分隐私是必需的，但有代价。 三个框架都支持差分隐私（DP）训练。开启DP后，三类攻击的成功率都大幅下降。但代价是模型精度下降——在CIFAR-10上，开启DP后分类准确率下降了3-5个百分点。

发现三：框架的默认配置不安全。 三个框架的默认配置都没有开启任何隐私保护机制。这意味着，如果你只是按照快速入门教程跑起来，你的模型是不安全的。

安全部署联邦学习的五个建议

  1. 永远不要依赖默认配置。 评估你的威胁模型，选择合适的安全加固措施。
  2. 差分隐私是底线。 为你的联邦学习系统配置差分隐私，并根据隐私预算仔细调参。
  3. 安全聚合是标配。 使用安全多方计算（MPC）或同态加密来保护模型更新在传输和聚合过程中的安全。
  4. 定期审计。 建立持续的安全审计机制，不要只做一次安全评估就觉得万事大吉。
  5. 了解你的框架。 不同框架的安全能力差异很大，选择框架时把安全能力作为核心考量因素。

结语

联邦学习是一次隐私保护的进步，但它不是终点。把它当作隐私保护工具箱中的一个工具，而不是唯一的工具。真正的隐私保护需要多层次、多技术的组合，而联邦学习只是其中的一层。

你对联邦学习的安全问题有什么看法？欢迎在评论区讨论。