Co je strojové učení zachovávající soukromí?

Tým se rozhodne provozovat jazykový model na vlastních serverech místo volání externího API. Motivací je soukromí: nechat citlivá data doma a nikdy je nepředat třetí straně. Ten instinkt je správný a kontrola, kterou přináší, je skutečná, jenže je také neúplná. Model natrénovaný na soukromých záznamech lze donutit prozradit, zda byl v jeho trénovací sadě záznam konkrétní osoby. Federované aktualizace, které nikdy nenesou surová data, lze obrátit zpět na obrázky, jež je vytvořily. Velký model si dokáže zapamatovat a vypustit kusy toho, na čem byl trénován. Data zůstala doma a model přesto unikl.

Právě tuhle mezeru, mezi pocitem soukromí a prokazatelným soukromím, řeší strojové učení zachovávající soukromí. Standardní pipeline strojového učení potřebuje, aby trénovací infrastruktura měla přístup k surovým datům, což naráží na regulaci soukromí, na požadavky datové suverenity a na partnery, kteří své datové sady nesdílí vůbec. Strojové učení zachovávající soukromí je rodina technik, která tuto srážku řeší.

Užitečné rozlišení vede mezi technikami, které omezují pohyb dat, technikami, které ohraničují, co mohou výstupy prozradit, a technikami, které udržují data důvěrná během výpočtu. Vlastní hosting stojí vedle těchto opatření, nenahrazuje je.

Zkrácená verze

• Strojové učení zachovávající soukromí (PPML) je zastřešující kategorie, ne jedna metoda. Tento článek se soustředí na čtyři hlavní přístupy: federované učení, diferenciální soukromí, homomorfní šifrování a bezpečný vícestranný výpočet. V systémech PPML se mohou objevit i další architektury posilující soukromí, včetně důvěryhodných prostředí pro vykonávání kódu.
• Samotné federované učení neposkytuje formální záruku soukromí. Drží surová data u zdroje, jenže sdílené aktualizace gradientů lze někdy obrátit zpět na trénovací záznamy. Diferenciální soukromí je běžný způsob, jak přidat formální hranici úniku.
• Sílu diferenciálního soukromí obvykle shrnuje epsilon. Záruka závisí také na deltě, na chráněné jednotce a na metodě účtování soukromí. Formální záruka se slabými parametry zůstane zárukou na papíře a v praxi divadlem.
• Homomorfní šifrování je skutečné a pomalé. Počítat nad zašifrovanými daty funguje, jenže režie to dnes omezuje na jednodušší modely, na inferenci tolerantní k latenci a na experimentální workflow doladění, nikoli na běžný trénink velkých modelů ani na jejich plné předtrénování.
• Hostovat model u sebe znamená lokalizaci dat, ne PPML. Držet data na infrastruktuře, kterou ovládáte, určuje, kdo se k nim dostane. Neurčuje, co může prozradit samotný model.

Poznámka k rozsahu: tohle je pojmový výklad, ne implementační návod. Nezabírá se do hloubky nastavením knihoven, volbou epsilon, regulatorní shodou ani soukromým doladěním LLM. Cílem je tady mapa. Podrobná navigace patří do samostatných implementačních návodů.

Jak strojové učení zachovávající soukromí chrání data

Strojové učení zachovávající soukromí je zastřešující pojem pro metody, které snižují, omezují nebo formálně ohraničují vystavení informací napříč tréninkem modelů, inferencí a společnou analýzou. Tento článek se soustředí na čtyři hlavní přístupy: federované učení, diferenciální soukromí, homomorfní šifrování a bezpečný vícestranný výpočet. Chrání různá aktiva v různých modelech hrozeb, takže je nelze považovat za zaměnitelné záruky.

Problém je jednoduchý: standardní ML pipeline obvykle předpokládají, že trénovací proces má přístup k surovým záznamům, jenže regulace soukromí, požadavky datové suverenity a dohody s partnery takový přístup často znemožňují. Čtyři rodiny na toto omezení odpovídají různě: přesunout výpočet k datům místo dat k výpočtu (federované učení), přidat kalibrovaný šum, aby výstupy prozrazovaly méně o jednotlivci (diferenciální soukromí), počítat nad daty, která zůstávají zašifrovaná (homomorfní šifrování), nebo nechat několik stran společně spočítat výsledek, aniž by si navzájem odhalily surové vstupy (bezpečný vícestranný výpočet).

Podstatné riziko je bez okolků popsáno v dokumentu průvodce Google k odpovědné AI: modely strojového učení si mohou zapamatovat nebo prozradit části dat, kterým byly vystaveny, a práce na soukromí existuje proto, aby kolem toho postavila pojistky. PPML na toto riziko odpovídá a liší se od prosté anonymizace z důvodů, které příští sekce konkretizuje.

Proč anonymizace nestačí?

Anonymizovaná data lze stále znovu identifikovat. Odstranění jmen a zjevných identifikátorů z datové sady sníží nápadné vystavení, ale nezaručí soukromí, jakmile lze data spojit s informacemi zvenčí. To je opakovaná slabina přístupů k odstranění identity, jako je k-anonymita: za konkrétních předpokladů dokážou snížit identifikovatelnost, jenže neposkytují formální záruky dostupné u technik jako diferenciální soukromí nebo kryptografické metody PPML.

Toto praktické rozlišení je důležité pro každého, komu někdo řekl: „anonymizovali jsme to, takže je to v pořádku.“ Anonymizace je tvrzení o datové sadě v konkrétním kontextu a modelu hrozeb. Útok propojením nemusí prolomit šifrování ani obejít řízení přístupu. Stačí mu jiná datová sada, která se s tou vaší překrývá. Přímo to zaznívá v dokumentu pokyny NIST k odstranění identity, který uvádí, že data zbavená identity lze stále znovu identifikovat propojením s pomocnými datovými sadami.

Diferenciální soukromí dává něco, co běžné odstranění identity nedá: matematickou hranici toho, jak moc mohou data jednotlivce ovlivnit zveřejněný výsledek, při definované jednotce soukromí a modelu hrozeb. Homomorfní šifrování a SMPC poskytují jiné druhy kryptografické důvěrnosti, zatímco federované učení mění především to, kde se data zpracovávají. Tyto záruky spolu souvisejí, ale nejsou totéž.

Jak funguje federované učení a proč samo o sobě nestačí?

Ve federovaném učení se globální model rozešle na lokální zařízení nebo servery, natrénuje se na datech, která tam leží, a do centra vrátí jen aktualizace svých parametrů. Surová data se nikdy nehnou. Je to skutečně užitečný vzorec a běží v produkci ve velkém. Zároveň sám o sobě není zárukou soukromí.

Mechanismus je model k datům, ne data k modelu. Nasazení Gboard od Googlu provozuje přes 30 jazykových modelů přímo v zařízení, ve více než 7 jazycích a více než 15 zemích, a trénuje na textu, který telefon nikdy neopustí. To je federované učení fungující tak, jak se slibuje: klávesnice se zlepšuje, aniž by Google sbíral, co jste napsali.

Problém je v tom, co v aktualizacích cestuje. Gradienty nesou informaci o datech, která je vytvořila, a tu informaci lze získat zpět. Zhu, Liu a Han to ukázali v práci Deep Leakage from Gradients (NeurIPS 2019), kde předvedli útoky inverzí gradientu, které ze sdílených aktualizací modelu rekonstruují soukromé trénovací příklady, v jejich experimentech s obnovou obrázků přesnou na pixel a se shodou na úrovni tokenů u textu. Federované učení snížilo pohyb dat. Riziko úniku neodstranilo.

Pokud je cílem ohraničit, co může účast prozradit, je diferenciální soukromí běžným doplňkem. Bezpečná agregace řeší jiné riziko: skrývá jednotlivé aktualizace klientů před koordinujícím serverem. Gboard kombinuje federované učení s formálním diferenciálním soukromím, místo aby spoléhal jen na federaci.

Poznámka: Federované učení bývá často popisováno jako „soukromé“, protože surová data zůstávají u zdroje. Ten popis je zavádějící. Bez další ochrany mohou federované aktualizace nést dost signálu na rekonstrukci trénovacích záznamů. DP-FL přidává formální záruku diferenciálního soukromí místo spoléhání na federaci samotnou. Federace sama o sobě je volba, jak s daty zacházet, ne důkaz soukromí.

Co je diferenciální soukromí a co vlastně epsilon řídí?

Diferenciální soukromí je matematická definice, která ohraničuje, jak moc se může analýza změnit, když se přidá nebo odebere jedna jednotka soukromí. Mnoho mechanismů této záruky dosahuje přidáním kalibrované náhodnosti. Epsilon je jeden viditelný parametr, ale smysluplná záruka závisí také na jednotce soukromí, na variantě DP a na dalších parametrech, jako je delta, a k tomu na kompozici, účtování a detailech implementace.

Epsilon je popsán jako rozpočet soukromí v dokumentu glosář NVIDIA: nižší hodnoty znamenají silnější soukromí, ale více šumu, vyšší hodnoty zachovají přesnost za cenu slabších záruk. Běžný způsob, jak diferenciální soukromí uplatnit při tréninku hlubokých sítí, je DP-SGD, tedy diferenciálně soukromý stochastický gradientní sestup: ořízni gradient každého vzorku na omezenou velikost, přidej kalibrovaný gaussovský šum a pak agreguj. Ořezání omezuje, jak moc může jediný příklad ovlivnit model. Šum zakryje vliv, který zbývá.

Tento rozpočet se spotřebovává. Mechanismus je popsán v dokumentu dokumentace Tumult Analytics o rozpočtech soukromí: každý dotaz na chráněnou datovou sadu utratí část rozpočtu soukromí. Jak se tyto útraty sčítají, je standardní teorie diferenciálního soukromí, vyložená v knize The Algorithmic Foundations of Differential Privacy od Dworkové a Rotha: při základní kompozici se k dotazů, každý s parametrem epsilon, sečte na celkovou ztrátu soukromí k krát epsilon, zatímco věty o pokročilé kompozici dávají těsnější meze. Neomezený počet otázek nedostanete. Dostanete rozpočet a utrácíte ho.

Volba parametrů tedy rozhoduje, jestli je záruka v praxi smysluplná. Recenzovaná kritika přístupů k soukromí ve strojovém učení tvrdí, že matematické rámování může dodat „nádech objektivity“, kterým se pak projekt bělí. Nastavte parametry soukromí dost slabě a záruka může být takřka bezvýznamná, přičemž tým může dál tvrdit, že diferenciální soukromí splnil. Záruka je skutečná. Její praktická síla je designové rozhodnutí.

Poznámka: Záruka diferenciálního soukromí má smysl jen tehdy, když znáte parametry soukromí a jednotku, kterou chrání. Velmi vysoké epsilon, volná delta nebo nejasné účtování mohou způsobit, že technicky platná záruka poskytne v praxi jen malou ochranu. Věta „tento systém používá diferenciální soukromí“ sama o sobě neřekne skoro nic: význam nesou parametry soukromí, to, nad čím byly měřeny, a jak se skládají. Konkrétní nasazení to zhmotňují. Google u svého systému Provably Private Insights uvádí epsilon 1 na úrovni uživatele, jenže to je volba jednoho nasazení pro jeden případ užití, ne číslo k opisování.

Jak homomorfní šifrování počítá nad daty, která nikdy nedešifruje?

Plně homomorfní šifrování (FHE) umožňuje serveru provádět výpočty přímo nad zašifrovanými daty a vrátit zašifrovaný výsledek, který dokáže dešifrovat jen vlastník dat. Server odvede práci, aniž by kdy viděl otevřený text. Je to jeden z nejsilnějších nástrojů soukromí v oboru, jenže cenou je výkon.

Užitečná analogie je zamčený rukavicový box s vestavěnými rukavicemi: pracovník do něj může sáhnout a manipulovat s obsahem, aniž by box kdy otevřel nebo obsah vyňal. Jediný klíč drží vlastník dat. Výpočet probíhá na zapečetěném obsahu a jen vlastník může box otevřít a přečíst výsledek. To je to, co FHE dělá matematicky: pracuje nad šifrovým textem tak, že dešifrování výstupu dá stejnou odpověď, jakou by dal výpočet nad otevřeným textem.

Háček je v ceně. Concrete ML od Zamy převádí modely scikit-learn a PyTorch na ekvivalenty kompatibilní s FHE, aniž by uživatel musel pracovat přímo s kryptografickými primitivy, a verze v1.9 vyšla 10. dubna 2025. Vlastní benchmarky projektu ale ukazují režii: síť pro klasifikaci obrázků CIFAR10 běží pod FHE zhruba 4 minuty na obrázek. Pro část inference tolerantní k latenci, pro jednodušší modely a pro experimentální šifrované doladění to stačí. Praktická cesta k plnému předtrénování velkých modelů ani k běžným trénovacím zátěžím to pořád není. FHE je dnes přesný nástroj pro úzkou množinu úloh, ne univerzální vrstva soukromí.

Co je bezpečný vícestranný výpočet ve strojovém učení?

Bezpečný vícestranný výpočet (SMPC) umožňuje několika stranám společně spočítat funkci nad jejich spojenými soukromými vstupy, aniž by kterákoli strana viděla surová data ostatních. Vstup každé strany zůstává tajný. Známým se stává jen dohodnutý výsledek. SMPC lze postavit na technikách jako sdílení tajemství, zamotané obvody, zapomnětlivý přenos a jejich kombinace. V protokolech sdílení tajemství se soukromé hodnoty rozdělí na podíly tak, že jednotlivý podíl vstup neprozradí. Protokoly zamotaných obvodů fungují jinak: zakódují výpočet tak, aby ho strany mohly vyhodnotit, aniž by odhalily své soukromé vstupy.

Přirozeným případem užití je spolupráce napříč organizacemi. Několik nemocnic chce natrénovat model na svých spojených datech pacientů, ale žádná nesmí ze zákona sdílet záznamy s ostatními. SMPC jim umožní spočítat společný model, jako by data byla slitá dohromady, přičemž záznamy každé nemocnice zůstanou zapečetěné u ní. Režie SMPC silně závisí na protokolu, modelu bezpečnosti, stavu sítě, počtu stran a vyhodnocované funkci. Mnoho protokolů je náročných na komunikaci, takže výkon je třeba měřit vůči konkrétní spolupráci, ne jej obecně řadit proti diferenciálnímu soukromí nebo FHE. Přesně tento vzorec pro strojové učení ve zdravotnictví rozebírá přehledová studie z roku 2025 v WIREs Computational Statistics.

Může model strojového učení prozradit svá trénovací data?

Ano. Natrénovaný model může svá trénovací data prozradit hned několika odlišnými způsoby: útok na členství odhalí, zda byl konkrétní záznam v trénovací sadě, inverze modelu a únik gradientů dokážou záznamy rekonstruovat a velké jazykové modely si mohou části trénovacích dat zapamatovat a doslovně je vypustit. Nejde o hypotézy. Jsou to prokázané útoky a jsou důvodem, proč výše zmíněné techniky existují.

Zakládajícím výsledkem je útok na členství. Shokri a kolegové v práci Membership Inference Attacks Against Machine Learning Models (IEEE S&P 2017) ukázali, že útočník sledující, jak model predikuje, dokáže určit, zda byl daný záznam součástí jeho trénovací sady. Zní to abstraktně, dokud trénovací sadou nejsou „pacienti s konkrétní diagnózou“. V tu chvíli je citlivým faktem právě členství. Inverze modelu a dříve zmíněné útoky únikem gradientů posouvají věc od „byl ten záznam přítomen“ k „rekonstruuj ten záznam“.

Hranicí jsou velké jazykové modely a právě tam starší rámce PPML sedí nejhůř. Výzkum o tom, že LLM vypouštějí trénovací data velké modely si zapamatují části svého trénovacího korpusu a lze je navést k jeho reprodukci, dokumentuje extrakční útoky obnovující doslovná i téměř doslovná trénovací data. DP-SGD lze uplatnit na soukromé doladění, jenže cena v přesnosti a výpočtech v měřítku velkých modelů je krutá, a to je jeden z důvodů, proč workshop PPML 2026 od Applu věnoval celou sekci základovým modelům a soukromí. Obrany, které čistě fungují pro klasifikátor s logistickou regresí, se na model s miliardami parametrů nepřenesou zadarmo.

PPML a AI hostovaná u vás: co vám lokální inference přinese a co ne

Hostovat model u sebe drží vaše data na infrastruktuře, kterou ovládáte. To je skutečná výhra v řízení přístupu a lokalizaci dat: data neputují k třetí straně a vy rozhodujete, kdo se dostane ke stroji, na kterém běží. Není to ale strojové učení zachovávající soukromí. Lokální inference sama o sobě nedělá nic proti útoku na členství vůči modelu a nezabrání modelu prozradit, co si zapamatoval.

Každý z nich řeší jinou polovinu problému a plést si je je v této oblasti častá chyba. Lokalizace dat určuje, kdo se k datům dostane: otázka perimetru, na kterou odpovídá, kde bajty leží a kdo drží klíče od místnosti. PPML určuje, co může prozradit samotný model: otázka úniku informací, na kterou odpovídají čtyři výše uvedené techniky. Provozovat model na vlastním serveru je silná odpověď na první otázku a vůbec žádná na druhou.

Pokud zvažujete, jestli model vůbec provozovat sami, nákladová stránka toho rozhodnutí je samostatná analýza: viz Self-hosting open-weight LLM vs. API: Skutečná nákladová matematika.

Pro platformového či infrastrukturního inženýra zní provozní čtení takto: „běží to na našem vlastním serveru“ může splnit část požadavků na lokalizaci dat a řízení přístupu, ale samo o sobě neomezuje, co může model prozradit. Jakmile se model nebo jeho výstupy někdy sdílí, ať mezi týmy, s partnery, nebo v produktu, perimetr, který jste postavili kolem hardwaru, s modelem ze dveří neodejde. Architektonická rozhodnutí, která zárukou skutečně pohnou, jsou ta z PPML: diferenciální soukromí na výstupech, které publikujete, DP-FL pro trénink napříč lokalitami, jež nelze centralizovat, výpočet postavený na šifrování tam, kde data nesmí být odhalena ani vlastní infrastruktuře. Nasazení Provably Private Insights od Googlu je poučné právě proto, že kombinuje více opatření, tedy diferenciální soukromí, důvěryhodná prostředí pro vykonávání kódu a důvěrnou federovanou analytiku, místo aby spoléhalo na jediné. Lokalizace je součástí skutečné architektury. Není celou architekturou.

Kdy použít kterou techniku PPML?

Logika výběru sleduje omezení, ne módu. Federované učení použijte, když data nelze centralizovat. Diferenciální soukromí použijte, když potřebujete formální záruku na to, co model prozrazuje. Homomorfní šifrování použijte, když se výpočet musí odehrát nad daty, která se nikdy nedešifrují, a latence to dovolí. Bezpečný vícestranný výpočet použijte, když musí několik stran počítat společně, aniž by sdílely své vstupy.

Techniky se také skládají. DP-FL je nejjasnější příklad: vybírejte opatření podle záruk, které systém potřebuje, místo abyste problém cpali do jediné techniky.

Kompromisy na první pohled:

Tyto charakteristiky pocházejí z přehledové studie PPML zaměřené na IoT z března 2026, z benchmarků Concrete ML od Zamy a z literatury o opětovné identifikaci.

Tabulka je jen výchozí bod. Skutečné systémy často techniky kombinují: problém tréninku napříč lokalitami, který navíc potřebuje formální záruku soukromí, je obvykle problém DP-FL, ne volba mezi federovaným učením a diferenciálním soukromím. Kdo chce rozhodování strukturovat přísněji, může projít strukturovaný rámec pro podporu rozhodování určený vývojářům , zveřejněný na konci roku 2024.

K nástrojům: TensorFlow Federated nabízí open source rámec pro federované učení a výpočty nad decentralizovanými daty. TensorFlow Privacy dodává nástroje pro diferenciálně soukromý trénink, knihovny Differential Privacy od Googlu pokrývají diferenciálně soukromou statistiku a agregaci a Concrete ML nabízí cestu přes FHE. PySyft se dnes soustředí šířeji na vzdálenou datovou vědu zachovávající soukromí, kde výpočty běží nad daty, která zůstávají u vlastníka, a ven jdou jen schválené výsledky. To jsou názvy a to, co dělají. Nastavení patří do samostatných implementačních návodů, ne sem. Opakující se poučení zní, že matematika může sedět, zatímco implementace stejně selže. Záruka má význam jen tehdy, když je systém navržen kolem správného modelu hrozeb a parametry soukromí odpovídají chráněnému riziku.

Časté dotazy

Co znamená PPML?

Strojové učení zachovávající soukromí je zastřešující pojem pro metody, které během strojového učení snižují, omezují nebo formálně ohraničují vystavení informací. Mezi hlavní přístupy patří federované učení, diferenciální soukromí, homomorfní šifrování a bezpečný vícestranný výpočet, jenže chrání různá aktiva a poskytují různé druhy záruk.

Stačí federované učení k ochraně soukromí?

Ne. Federované učení drží surová data u zdroje, jenže sdílené aktualizace parametrů lze útoky inverzí gradientu obrátit zpět na trénovací záznamy. Samo o sobě neposkytuje žádnou formální záruku soukromí. Diferenciální soukromí umí přidat formální hranici úniku, čímž vzniká kombinace obvykle zvaná DP-FL.

Jakou hodnotu epsilon zvolit pro diferenciální soukromí?

Univerzální hodnota neexistuje. Epsilon je jedním z hlavních parametrů kompromisu mezi soukromím a přesností: nižší hodnoty obvykle znamenají silnější soukromí a víc šumu, vyšší hodnoty obvykle slabší soukromí a míň šumu. Správné nastavení závisí na citlivosti dat a na riziku, které jste ochotni přijmout. Neexistuje univerzální hranice, která by udělala hodnotu epsilon „bezpečnou“. Posuzujte epsilon spolu s jednotkou soukromí, variantou DP a případnými dalšími parametry jako delta, s metodou kompozice a s modelem hrozeb daného systému.

Jaký je rozdíl mezi PPML a anonymizací?

Anonymizace odstraní z datové sady identifikátory, jenže anonymizované záznamy lze znovu identifikovat propojením s pomocnými daty z jiných zdrojů. Některé techniky PPML poskytují formální záruky, které běžná anonymizace nedá. Diferenciální soukromí umí ohraničit, jak moc data jednotlivce ovlivní zveřejněný výsledek, zatímco FHE a SMPC nabízejí jiné formy kryptografické důvěrnosti.

Dají se z modelu strojového učení vytáhnout trénovací data?

Ano. Útoky na členství odhalí, zda byl konkrétní záznam v trénovací sadě, inverze modelu a únik gradientů dokážou záznamy rekonstruovat a velké jazykové modely si mohou trénovací data zapamatovat a doslovně je vypustit. Jde o prokázané útoky zdokumentované v bezpečnostní literatuře, ne o hypotetická rizika.

Zaručí hostování modelu u sebe soukromí dat?

Ne. Vlastní hosting drží data na infrastruktuře, kterou ovládáte, což je řízení přístupu a lokalizace dat, skutečná výhra v tom, kdo se k datům dostane. Není to ale strojové učení zachovávající soukromí a nezastaví ani útok na členství, ani únik z memorizace. S technikami PPML se dobře doplňuje, ale nenahrazuje je.

Jaké open source nástroje existují pro strojové učení zachovávající soukromí?

Různé části PPML pokrývá několik open source nástrojů. TensorFlow Federated podporuje federované učení a výpočty nad decentralizovanými daty, TensorFlow Privacy dodává nástroje pro diferenciálně soukromý trénink a Concrete ML pokrývá strojové učení s FHE. PySyft se dnes soustředí na vzdálenou datovou vědu zachovávající soukromí, kde výpočty běží nad daty, která má pod kontrolou jejich vlastník, a sdílí se jen schválené výsledky.