一个团队决定在自己的服务器上运行语言模型,而不是调用外部 API。动机是隐私:把敏感数据留在内部,绝不交给第三方。这种直觉没错,它带来的控制权也是实实在在的,但并不完整。在私密记录上训练出来的模型,可以被诱导透露某个特定个人的记录是否出现在训练集中。从不携带原始数据的联邦更新,也能被反演回生成它们的图像。大模型会记住并吐出训练内容的片段。数据留在了家里,模型却照样泄露。
感觉上私密与可证明私密之间的这道落差,正是隐私保护机器学习要解决的问题。标准的机器学习流水线要求训练基础设施能够访问原始数据,而这与隐私法规、数据主权要求以及根本不愿共享数据集的合作方相冲突。隐私保护机器学习就是化解这一冲突的一整套技术。
有用的区分在于:减少数据移动的技术、限定输出能泄露多少的技术,以及在计算过程中保持数据机密的技术。自托管是这些控制手段的补充,而不是替代。
简短版本
- 隐私保护机器学习(PPML)是一个大类,而不是某一种方法。 本文聚焦四种主要方法:联邦学习、差分隐私、同态加密和安全多方计算。其他增强隐私的架构,包括可信执行环境,也可能出现在 PPML 系统中。
- 单靠联邦学习并不能提供形式化的隐私保证。 它把原始数据留在源头,但共享出去的梯度更新有时可以被反演回训练记录。差分隐私是为泄露加上形式化上界的常见做法。
- 差分隐私的强度通常用 epsilon 来概括。 这个保证还取决于 delta、受保护的单位以及隐私预算的核算方法。参数设得太宽松的形式化保证,纸面上依然是保证,实际上只是表演。
- 同态加密是真的,也是慢的。 在密文上做计算确实可行,但开销把它今天限制在更简单的模型、可容忍延迟的推理,以及实验性的微调流程上,而不是常规的大模型训练或完整的大模型预训练。
- 自己托管模型属于数据本地化,不是 PPML。 把数据放在你控制的基础设施上,管的是谁能接触到它。它管不到模型本身会泄露什么。
范围说明:这是一篇概念性讲解,不是实施指南。它不深入讲库的安装配置、epsilon 的取值、合规要求,也不讲私有 LLM 微调。这里要给的是地图。逐步的路线指引属于专门的实施指南。
隐私保护机器学习如何保护数据
隐私保护机器学习是一个统称,涵盖在模型训练、推理和协作分析中减少、限制或形式化约束信息暴露的各种方法。本文聚焦四种主要方法:联邦学习、差分隐私、同态加密和安全多方计算。它们在不同的威胁模型下保护不同的资产,因此不能当作可以互换的保证。
问题很简单:标准的机器学习流水线通常默认训练过程可以访问原始记录,而隐私法规、数据主权要求和合作方协议往往正好禁止这种访问。这四类方法用不同方式回应这一约束:把计算搬到数据那里,而不是把数据搬到计算这里(联邦学习);加入经过校准的噪声,让输出更少暴露任何一个人的信息(差分隐私);在始终保持加密的数据上计算(同态加密);或者让多方共同算出一个结果,同时互不暴露各自的原始输入(安全多方计算)。
这一底层风险被明确写在 Google 的负责任 AI 指南:机器学习模型可能记住或泄露它所接触过的数据的某些方面,而隐私方面的工作正是为了在这周围建立防护。PPML 针对的就是这个风险,它与单纯的匿名化不同,原因将在下一节具体展开。
为什么匿名化还不够?
匿名化后的数据仍然可能被重新识别。从数据集中去掉姓名和明显的标识符,能减少表面上的暴露,但一旦这些数据能与外部信息关联起来,就谈不上保证隐私。这正是 k-anonymity 这类去标识化方法反复暴露的弱点:在特定假设下它们能降低可识别性,却给不出差分隐私或密码学 PPML 方法所具备的形式化保证。
对任何被告知过“我们做了匿名化,所以没问题”的人来说,这个实务上的区分很重要。匿名化是在特定语境和威胁模型下对一个数据集作出的主张。链接攻击既不需要破解加密,也不需要绕过访问控制,它只需要另一个与你的数据有交集的数据集。这一点被直接写在 NIST 的去标识化指南,其中指出,去标识化的数据仍可通过与辅助数据集关联而被重新识别。
差分隐私提供了普通去标识化给不了的东西:在既定的隐私单位和威胁模型下,对单个个体的数据能在多大程度上影响已发布结果给出数学上界。同态加密和 SMPC 提供的是另一类密码学机密性,而联邦学习改变的主要是数据在哪里被处理。这些保证彼此相关,但并不等同。
联邦学习如何运作,为什么单靠它还不够?
在联邦学习中,全局模型被下发到本地设备或服务器,在那里的数据上训练,只把参数更新回传给中心。原始数据从不移动。这确实是一种有用的模式,而且已经大规模跑在生产环境里。它本身也确实不是隐私保证。
其机制是让模型去找数据,而不是让数据去找模型。 Google 的 Gboard 部署 在设备本地运行 30 多个语言模型,覆盖 7 种以上语言和 15 个以上国家,训练所用的文本从不离开手机。这就是名副其实的联邦学习:键盘变得更好用,Google 却没有收集你打过的字。
问题出在更新里携带了什么。梯度带有产生它们的那些数据的信息,而这些信息是可以被还原的。Zhu、Liu 和 Han 在下面这篇论文中展示了这一点: Deep Leakage from Gradients (NeurIPS 2019)。论文演示了梯度反演攻击,能从共享的模型更新中还原出私有训练样本,在他们的实验中图像可做到逐像素准确、文本可做到逐 token 匹配。联邦学习减少了数据移动,却没有消除泄露风险。
如果目标是给“参与本身能泄露多少”设上界,差分隐私是常见的补充。安全聚合应对的是另一种风险:让协调服务器看不到单个客户端的更新。Gboard 把联邦学习与形式化的差分隐私结合起来,而不是只靠联邦本身。
注意: 人们常说联邦学习是“私密的”,理由是原始数据留在源头。这个说法有误导性。若没有额外保护,联邦更新可能携带足以重建训练记录的信号。DP-FL 加上的是形式化的差分隐私保证,而不是只靠联邦。联邦本身是一种数据处理方式的选择,不是隐私的证明。
什么是差分隐私,epsilon 究竟控制什么?
差分隐私是一个数学定义,它限定当增加或移除一个隐私单位时,分析结果最多能变化多少。许多机制通过加入经过校准的随机性来达成这一保证。epsilon 只是一个看得见的参数,真正有意义的保证还取决于隐私单位、DP 的变体以及 delta 之类的附加参数,再加上组合方式、预算核算和实现细节。
epsilon 被描述为隐私预算,出处是 NVIDIA 的术语表:值越低隐私越强但噪声越多,值越高则保住了精度、代价是保证更弱。在深度学习训练中应用差分隐私的常见做法是 DP-SGD,即差分隐私随机梯度下降:把每个样本的梯度裁剪到有界的大小,加入校准过的高斯噪声,然后再聚合。裁剪限制了任何单个样本对模型的影响,噪声则遮住剩下的那部分影响。
这份预算是会被消耗掉的。相关机制记载于 Tumult Analytics 关于隐私预算的文档:每一次对受保护数据集的查询都会花掉一部分隐私预算。这些花费如何累加属于标准的差分隐私理论,详见 Dwork 与 Roth 的《The Algorithmic Foundations of Differential Privacy》:在基础组合下,k 次每次参数为 epsilon 的查询,总隐私损失累加为 k 乘 epsilon,而高级组合定理给出更紧的界。你没有无限次提问的权利,你有的是一份预算,然后一点点花掉。
因此,参数的选择决定了这份保证在实践中是否有意义。一篇经过同行评议的 对机器学习中隐私方法的批评文章 指出,数学化的表述可能带来一层“客观的外衣”,进而被拿来为项目洗白。把隐私参数设得足够宽松,保证几乎就没有意义了,但团队仍然可以宣称自己满足了差分隐私。这份保证是真实的,它在实践中有多强,则是一个设计选择。
注意: 只有当你知道隐私参数以及它们保护的单位时,差分隐私的保证才有意义。极高的 epsilon、宽松的 delta,或者含糊的预算核算,都能让一份技术上成立的保证在实践中几乎不提供保护。看到“本系统使用了差分隐私”这句话,本身几乎什么也说明不了:真正承载意义的是隐私参数、它们是在什么范围上度量的,以及它们如何组合。具体的落地案例让这一点变得实在。Google 为其 Provably Private Insights 系统报告了用户级 epsilon 等于 1,但那是某一次落地为某一个用例做出的选择,不是可以照抄的数字。
同态加密如何在从不解密的数据上做计算?
全同态加密(FHE)让服务器直接在密文上执行计算,并返回一个只有数据所有者才能解密的加密结果。服务器完成了工作,却从未看到明文。它是这个领域最强的隐私工具之一,代价则是性能。
一个好用的类比是带手套的密闭手套箱:操作者可以伸手进去摆弄里面的东西,却始终不打开箱子、不取出内容物。唯一的钥匙在数据所有者手里。计算发生在密封的内容物上,只有所有者能打开箱子读取结果。这正是 FHE 在数学上做的事:在密文上运算,使得对输出解密后得到的答案,与直接在明文上计算得到的答案一致。
问题出在成本上。 Concrete ML(来自 Zama)能把 scikit-learn 和 PyTorch 模型转换成兼容 FHE 的等价形式,使用者不必直接摆弄密码学原语,其 v1.9 版本于 2025 年 4 月 10 日发布。但该项目自己的基准测试就摆明了开销:一个 CIFAR10 图像分类网络在 FHE 下大约每张图要 4 分钟。对某些能容忍延迟的推理、较简单的模型以及实验性的加密微调来说,这没问题。它仍然不是通往完整大模型预训练或常规大模型训练负载的可行路径。今天的 FHE 是面向一小类任务的精密仪器,而不是通用的隐私层。
机器学习中的安全多方计算是什么?
安全多方计算(SMPC)让多个参与方在各自私有输入的合集上共同计算一个函数,而任何一方都看不到其他方的原始数据。每一方的输入都保持秘密,只有约定的结果才会被知晓。SMPC 可以用秘密分享、混淆电路、不经意传输等技术以及它们的组合来构建。在秘密分享协议里,私有数值被拆成多个份额,单个份额不会泄露输入。混淆电路协议的做法不同:它把一次计算编码起来,使各方能够求值而不必暴露自己的私有输入。
最自然的应用场景是跨组织协作。几家医院想用合起来的患者数据训练一个模型,但在法律上谁都不能把病历共享给别人。SMPC 让它们能像数据汇总在一起那样算出联合模型,而每家医院的病历仍然封存在自己院内。SMPC 的开销高度依赖协议、安全模型、网络条件、参与方数量以及所计算的函数。许多协议通信量很大,因此性能必须针对具体的协作场景来度量,而不是笼统地与差分隐私或 FHE 排名次。医疗机器学习中的这一模式正是由一篇 2025 年发表于 WIREs Computational Statistics 的综述.
机器学习模型会泄露它的训练数据吗?
会。训练好的模型可以通过几种不同的方式出卖它的训练数据:成员推断能揭示某条特定记录是否在训练集中,模型反演和梯度泄露可以重建记录,大语言模型则会记住并逐字吐出训练数据的片段。这些都不是假设,而是被实际演示过的攻击,也正是上述那些技术存在的理由。
奠基性的成果是成员推断。Shokri 等人在论文 Membership Inference Attacks Against Machine Learning Models (IEEE S&P 2017)中证明,攻击者只要观察模型的预测行为,就能判断某条记录是否属于它的训练集。这听上去很抽象,直到训练集是“患有某种特定诊断的病人”为止,那时“是否在其中”本身就是敏感事实。模型反演以及前面讨论过的梯度泄露攻击,把问题从“这条记录在不在”推进到“把这条记录还原出来”。
前沿在大语言模型这一侧,而这恰恰是旧有 PPML 框架最不合身的地方。关于 大语言模型吐出训练数据 的研究记录了大模型会记住训练语料的片段,并且可以被提示复现出来,提取攻击能还原出逐字或接近逐字的训练数据。DP-SGD 可以用于私有微调,但在大模型规模上的精度损失和算力代价都很重,这也是为什么 Apple 的 2026 年 PPML 研讨会 会专门开设了一整条关于基础模型与隐私的分会场。对逻辑回归分类器行之有效的防护手段,并不会免费迁移到拥有数十亿参数的模型上。
PPML 与自托管 AI:本地推理能给你什么,不能给你什么
自己托管模型,能把数据留在你控制的基础设施上。这在访问控制和数据本地化上是实打实的收益:数据不会跑到第三方那里,谁能接触到跑它的那台机器由你说了算。但这并不是隐私保护机器学习。本地推理本身对针对模型的成员推断毫无作用,也拦不住模型把记住的东西说出来。
这两者解决的是问题的不同一半,把它们混为一谈是这个领域里常见的错误。数据本地化管的是谁能接触到数据:这是一个边界问题,答案在于字节存放在哪里、房间的钥匙在谁手上。PPML 管的是模型本身会泄露什么:这是一个信息泄露问题,答案是上面那四种技术。把模型跑在自己的服务器上,对第一个问题是有力的回答,对第二个问题则完全不是回答。
如果你正在权衡的是究竟要不要自己跑这个模型,那么这一决定的成本面本身就是另一篇分析:见 自托管一个开放权重 LLM vs 一个 API:真实的成本账.
在拥有 root 权限、NVMe 与 AMD EPYC 强大性能的 Linux VPS 上构建应用。
查看 Linux 套餐对平台或基础设施工程师来说,可操作的解读是这样的:“它跑在我们自己的服务器上”能满足一部分数据本地化和访问控制要求,但它本身并不约束模型能泄露什么。一旦模型或它的输出被分享出去,无论是跨团队、给合作方,还是嵌进产品里,你围着硬件筑起的那道边界并不会跟着模型一起出门。真正能改变保证强度的架构选择来自 PPML 这一侧:对你发布的输出施加差分隐私,对无法集中化的站点用 DP-FL 训练,在数据连自家基础设施都不能暴露的地方采用基于加密的计算。Google 的 Provably Private Insights 之所以值得借鉴,恰恰因为它把多种控制手段组合在一起,包括差分隐私、可信执行环境和机密联邦分析,而不是依赖其中任何单独一项。本地化是一套真正架构的组成部分,但不是它的全部。
什么时候该用哪种 PPML 技术?
选型的逻辑跟着约束走,而不是跟着潮流走。数据无法集中时,用联邦学习。需要对模型泄露什么给出形式化保证时,用差分隐私。计算必须发生在从不解密的数据上、而且延迟允许时,用同态加密。多方必须共同计算又不能交出各自输入时,用安全多方计算。
这些技术还可以叠加使用。DP-FL 就是最清楚的例子:按系统真正需要的保证来挑选控制手段,而不是把问题硬塞进某一种技术里。
一览各项取舍:
| 技术 | 隐私保证 | 计算开销 | 原始数据在哪里处理? | 对 LLM 训练的适用性 |
|---|---|---|---|---|
| 联邦学习 | 不加 DP 则没有 | 低 | 在各个客户端 | 部分适用 |
| 差分隐私(DP-SGD) | 形式化,由 epsilon 与 delta 设定 | 低到中等 | 取决于部署方式 | 可以,但要付出精度与算力代价 |
| 同态加密(FHE) | 形式化的机密性 | 非常高 | 在计算服务器上保持加密 | 仅限实验性微调,不适用于完整的大模型训练 |
| 安全多方计算 | 形式化的机密性 | 取决于协议,通常受通信量制约 | 各方各自保留自己的输入 | 部分适用 |
上述归纳取自一份 2026 年 3 月发表的、面向物联网的 PPML 综述,以及 Zama 的 Concrete ML 基准测试和重新识别方面的文献。
这张表只是起点。真实系统往往把多种技术叠加使用:一个既要跨站点训练、又要形式化隐私保证的问题,通常是 DP-FL 问题,而不是在联邦学习和差分隐私之间二选一。想把这个决策做得更严谨的读者,可以研读 面向开发者的结构化决策支持框架 ,它发表于 2024 年年底。
在工具方面,TensorFlow Federated 提供了用于联邦学习和去中心化数据计算的开源框架。TensorFlow Privacy 提供差分隐私训练工具,Google 的 Differential Privacy 库覆盖差分隐私统计与聚合,Concrete ML 则负责 FHE 这条路。PySyft 如今把重心放得更宽,转向保护隐私的远程数据科学:计算在数据所有者持有的数据上运行,只有获批的结果才会被分享出去。名字和各自的职责就是这些。安装配置属于专门的实施指南,不在这里。反复出现的教训是:数学可以成立,实现照样可能失败。只有当系统围绕正确的威胁模型来设计、隐私参数与所要防护的风险相匹配时,那份保证才真正算数。
常见问题
PPML 是什么意思?
隐私保护机器学习是一个统称,涵盖在机器学习过程中减少、限制或形式化约束信息暴露的各种方法。主要方法包括联邦学习、差分隐私、同态加密和安全多方计算,但它们保护的资产不同,提供的保证种类也不同。
联邦学习足以保护隐私吗?
不。联邦学习把原始数据留在源头,但它共享出去的参数更新可以通过梯度反演攻击被还原回训练记录。单靠它本身,不提供任何形式化的隐私保证。差分隐私可以补上一个形式化的泄露上界,两者结合通常被称为 DP-FL。
差分隐私该用多大的 epsilon?
没有通用值。epsilon 是隐私与精度权衡中的主要参数之一:值越低通常意味着隐私更强、噪声更多,值越高通常意味着隐私更弱、噪声更少。合适的取值取决于数据的敏感程度和你能承受的风险。不存在一个通用的分界线,能让某个 epsilon 值变得“安全”。评估 epsilon 时,要连同隐私单位、DP 的变体和 delta 之类的附加参数、组合方式,以及系统的威胁模型一起看。
PPML 和匿名化有什么区别?
匿名化是把标识符从数据集中去掉,但匿名化后的记录仍可能通过与其他来源的辅助数据关联而被重新识别。部分 PPML 技术能给出普通匿名化给不了的形式化保证。差分隐私可以限定单个个体的数据对已发布结果的影响,FHE 和 SMPC 则提供另外几种形式的密码学机密性。
能从机器学习模型里提取出训练数据吗?
能。成员推断攻击可以揭示某条特定记录是否在训练集中,模型反演和梯度泄露可以重建记录,大语言模型则会记住并逐字吐出训练数据。这些都是安全文献中有据可查、已被实际演示过的攻击,而不是假设性的风险。
自己托管模型就能保证数据隐私吗?
不能。自托管把数据留在你控制的基础设施上,这属于访问控制和数据本地化,在“谁能接触到数据”这件事上是实打实的收益。但它不是隐私保护机器学习,也拦不住成员推断或基于记忆的泄露。它与 PPML 技术是很好的搭配,但不能取而代之。
隐私保护机器学习有哪些开源工具?
有几款开源工具分别覆盖 PPML 的不同部分。TensorFlow Federated 支持联邦学习和去中心化数据上的计算,TensorFlow Privacy 提供差分隐私训练工具,Concrete ML 覆盖基于 FHE 的机器学习。PySyft 如今聚焦保护隐私的远程数据科学:计算在数据所有者掌控的数据上运行,只有获批的结果才会被分享出去。