Команда вирішує запустити мовну модель на власних серверах замість звернення до зовнішнього API. Мотив — приватність: тримати чутливі дані всередині й ніколи не передавати їх третій стороні. Інстинкт правильний, і контроль, який він дає, справжній, але він неповний. Модель, навчену на приватних записах, можна змусити розкрити, чи був запис конкретної людини в її навчальній вибірці. Федеративні оновлення, які ніколи не несуть сирих даних, можна обернути назад у зображення, що їх породили. Велика модель здатна запам'ятати й видати фрагменти того, на чому її навчали. Дані залишилися вдома, а модель усе одно дала витік.
Саме цей розрив — між відчуттям приватності й доказовою приватністю — і закриває машинне навчання зі збереженням приватності. Стандартний конвеєр машинного навчання потребує, щоб сирі дані були доступні навчальній інфраструктурі, а це стикається з регулюванням приватності, з вимогами суверенітету даних і з партнерами, які взагалі не ділитимуться своїми наборами даних. Машинне навчання зі збереженням приватності — це сімейство методів, що розв'язує це зіткнення.
Корисне розрізнення пролягає між методами, що зменшують переміщення даних, методами, що обмежують те, що можуть розкрити результати, і методами, що зберігають конфіденційність даних під час обчислень. Власний хостинг стоїть поруч із цими заходами, а не замість них.
Коротко
- Машинне навчання зі збереженням приватності (PPML) — це парасолькова категорія, а не один метод. Ця стаття зосереджена на чотирьох основних підходах: федеративне навчання, диференційна приватність, гомоморфне шифрування та захищені багатосторонні обчислення. У системах PPML можуть з'являтися й інші архітектури посилення приватності, зокрема довірені середовища виконання.
- Саме лише федеративне навчання не дає формальної гарантії приватності. Воно лишає сирі дані в джерелі, але спільні оновлення градієнтів іноді можна обернути назад у навчальні записи. Диференційна приватність — поширений спосіб додати формальну межу витоку.
- Силу диференційної приватності зазвичай зводять до епсилон. Гарантія залежить також від дельти, від захищеної одиниці та від методу обліку приватності. Формальна гарантія зі слабкими параметрами лишається гарантією на папері — і театром на практиці.
- Гомоморфне шифрування реальне — і повільне. Обчислення над зашифрованими даними працюють, але накладні витрати сьогодні обмежують їх простішими моделями, інференсом, що терпить затримки, та експериментальними сценаріями донавчання, а не звичайним навчанням великих моделей чи повним попереднім навчанням.
- Власний хостинг моделі — це локалізація даних, а не PPML. Зберігання даних на інфраструктурі, яку ви контролюєте, визначає, хто може до них дістатися. Воно не визначає, що може розкрити сама модель.
Зауваження щодо охоплення: це концептуальне пояснення, а не посібник із впровадження. Тут немає докладного розбору налаштування бібліотек, вибору епсилон, відповідності регуляторним вимогам чи приватного донавчання LLM. Мета тут — карта. Покрокові вказівки належать до окремих практичних посібників.
Як машинне навчання зі збереженням приватності захищає дані
Машинне навчання зі збереженням приватності — це загальний термін для методів, які зменшують, обмежують або формально обмежують розкриття інформації під час навчання моделей, інференсу та спільного аналізу. Ця стаття зосереджена на чотирьох основних підходах: федеративне навчання, диференційна приватність, гомоморфне шифрування та захищені багатосторонні обчислення. Вони захищають різні активи в різних моделях загроз, тож вважати їх взаємозамінними гарантіями не можна.
Проблема проста: стандартні ML-конвеєри зазвичай припускають, що процес навчання має доступ до сирих записів, тоді як регулювання приватності, вимоги суверенітету даних і партнерські угоди часто цей доступ забороняють. Чотири сімейства відповідають на це обмеження по-різному: перенести обчислення до даних замість перенесення даних до обчислень (федеративне навчання), додати калібрований шум, щоб результати менше розкривали про конкретну людину (диференційна приватність), обчислювати на даних, які лишаються зашифрованими (гомоморфне шифрування), або дати кільком сторонам спільно обчислити результат, не розкриваючи одна одній сирі вхідні дані (захищені багатосторонні обчислення).
Ризик, що лежить в основі, прямо описано в матеріалі настанови Google щодо відповідального ШІ: моделі машинного навчання можуть запам'ятовувати або розкривати частини даних, з якими вони мали справу, і робота над приватністю існує саме для того, щоб поставити навколо цього запобіжники. PPML відповідає на цей ризик і відрізняється від простої анонімізації з причин, які наступний розділ робить конкретними.
Чому анонімізації недостатньо?
Анонімізовані дані все одно можна деанонімізувати. Вилучення імен та очевидних ідентифікаторів із набору даних зменшує явне розкриття, але не гарантує приватності, щойно ці дані можна зв'язати із зовнішньою інформацією. Це повторювана слабкість підходів до деідентифікації на кшталт k-анонімності: за певних припущень вони здатні знизити ідентифіковність, проте не дають формальних гарантій, доступних у диференційній приватності чи криптографічних методах PPML.
Це практичне розрізнення важливе для кожного, кому казали: «ми це анонімізували, тож усе гаразд». Анонімізація — це твердження про набір даних у конкретному контексті й конкретній моделі загроз. Атаці зв'язування не потрібно ламати шифрування чи обходити контроль доступу. Їй потрібен лише інший набір даних, що перетинається з вашим. Прямо про це сказано в документі настанови NIST щодо деідентифікації, де зазначено, що деідентифіковані дані все ще можна деанонімізувати, зв'язавши їх із допоміжними наборами даних.
Диференційна приватність дає те, чого звичайна деідентифікація не дає: математичну межу того, наскільки дані однієї особи можуть вплинути на оприлюднений результат, за визначеної одиниці приватності та моделі загроз. Гомоморфне шифрування та SMPC забезпечують інші види криптографічної конфіденційності, а федеративне навчання змінює насамперед те, де дані обробляються. Ці гарантії споріднені, але вони не однакові.
Як працює федеративне навчання і чому його самого недостатньо?
У федеративному навчанні глобальна модель розсилається на локальні пристрої чи сервери, навчається на даних, що там лежать, і повертає в центр лише оновлення параметрів. Сирі дані ніколи не рухаються. Це справді корисний патерн, і він працює у продакшені у великому масштабі. Водночас сам по собі він не є гарантією приватності.
Механізм працює як «модель до даних», а не «дані до моделі». Розгортання Gboard від Google запускає понад 30 мовних моделей просто на пристрої, більш ніж 7 мовами й у понад 15 країнах, навчаючись на тексті, який ніколи не залишає телефон. Це федеративне навчання, що працює як обіцяно: клавіатура стає кращою, а Google не збирає того, що ви набрали.
Проблема в тому, що подорожує всередині оновлень. Градієнти несуть інформацію про дані, які їх породили, і цю інформацію можна відновити. Чжу, Лю та Хань показали це в роботі Deep Leakage from Gradients (NeurIPS 2019), продемонструвавши атаки інверсії градієнта, які відновлюють приватні навчальні приклади зі спільних оновлень моделі, з точним попіксельним відновленням зображень і збігом на рівні токенів для тексту в їхніх експериментах. Федеративне навчання зменшило переміщення даних. Ризику витоку воно не усунуло.
Якщо мета — обмежити те, що може розкрити сама участь, диференційна приватність є поширеним доповненням. Безпечна агрегація закриває інший ризик: вона приховує оновлення окремих клієнтів від координуючого сервера. Gboard поєднує федеративне навчання з формальною диференційною приватністю, а не покладається лише на федерацію.
Примітка: Федеративне навчання часто описують як «приватне», бо сирі дані лишаються в джерелі. Такий опис вводить в оману. Без додаткового захисту федеративні оновлення можуть нести достатньо сигналу, щоб відтворити навчальні записи. DP-FL додає формальну гарантію диференційної приватності замість опори на саму лише федерацію. Федерація сама по собі — це рішення про поводження з даними, а не доказ приватності.
Що таке диференційна приватність і чим насправді керує епсилон?
Диференційна приватність — це математичне означення, яке обмежує, наскільки може змінитися аналіз, коли додати або прибрати одну одиницю приватності. Багато механізмів досягають цієї гарантії, додаючи калібрований шум. Епсилон — один видимий параметр, але змістовна гарантія залежить також від одиниці приватності, від варіанта DP і будь-яких додаткових параметрів на кшталт дельти, а ще від композиції, обліку та деталей реалізації.
Епсилон описано як бюджет приватності в матеріалі глосарій NVIDIA: менші значення означають сильнішу приватність, але більше шуму, більші зберігають точність ціною слабших гарантій. Поширений спосіб застосувати диференційну приватність під час навчання глибоких мереж — DP-SGD, диференційно приватний стохастичний градієнтний спуск: обрізати градієнт кожного зразка до обмеженого розміру, додати калібрований гаусів шум, а потім агрегувати. Обрізання обмежує, наскільки один приклад може вплинути на модель. Шум приховує той вплив, що залишився.
Цей бюджет витрачається. Механізм описано в матеріалі документація Tumult Analytics про бюджети приватності: кожен запит до захищеного набору даних витрачає частину бюджету приватності. Те, як ці витрати складаються, — стандартна теорія диференційної приватності, викладена в книзі The Algorithmic Foundations of Differential Privacy Дворк і Рота: за базової композиції k запитів, кожен із параметром епсилон, дають сумарну втрату приватності k помножити на епсилон, а теореми розширеної композиції дають тісніші межі. Необмеженої кількості запитань ви не отримаєте. Ви отримуєте бюджет — і витрачаєте його.
Тож саме вибір параметрів вирішує, чи має гарантія сенс на практиці. Рецензована критика підходів до приватності в машинному навчанні доводить, що математична рамка здатна надати «наліт об'єктивності», яким потім відбілюють проєкт. Задайте параметри приватності достатньо слабко, і гарантія стане майже беззмістовною, а команда все одно зможе заявити, що задовольнила диференційну приватність. Гарантія справжня. Її практична сила — це питання проєктного рішення.
Примітка: Гарантія диференційної приватності має сенс лише тоді, коли ви знаєте параметри приватності та одиницю, яку вони захищають. Дуже великий епсилон, вільна дельта чи незрозумілий облік здатні перетворити технічно коректну гарантію на майже нульовий захист на практиці. Фраза «ця система використовує диференційну приватність» сама по собі не каже майже нічого: сенс несуть параметри приватності, те, на чому їх виміряли, і те, як вони складаються. Конкретні впровадження роблять це відчутним. Google повідомляє про епсилон, що дорівнює 1, на рівні користувача для своєї системи Provably Private Insights, але це вибір одного впровадження для одного сценарію, а не число для копіювання.
Як гомоморфне шифрування обчислює на даних, які ніколи не розшифровує?
Повністю гомоморфне шифрування (FHE) дозволяє серверу виконувати обчислення просто над зашифрованими даними й повертати зашифрований результат, розшифрувати який може лише власник даних. Сервер робить роботу, жодного разу не побачивши відкритий текст. Це один із найпотужніших інструментів приватності в галузі, але компроміс тут — продуктивність.
Корисна аналогія — замкнений рукавичний бокс із вбудованими рукавичками: працівник може просунути руки й маніпулювати вмістом, жодного разу не відкривши бокс і не вийнявши вміст. Єдиний ключ — у власника даних. Обчислення відбувається над запечатаним вмістом, і лише власник може відкрити бокс, щоб прочитати результат. Саме це FHE робить математично: оперує над шифротекстом так, щоб розшифрування результату давало ту саму відповідь, яку дало б обчислення над відкритим текстом.
Заковика — у ціні. Concrete ML від Zama перетворює моделі scikit-learn і PyTorch на FHE-сумісні еквіваленти, не змушуючи користувача працювати напряму з криптографічними примітивами, а випуск v1.9 вийшов 10 квітня 2025 року. Але власні бенчмарки проєкту показують накладні витрати: мережа класифікації зображень CIFAR10 працює під FHE приблизно 4 хвилини на зображення. Для частини інференсу, що терпить затримки, для простіших моделей і для експериментального зашифрованого донавчання це нормально. Практичним шляхом до повного попереднього навчання великих моделей чи до звичайних навчальних навантажень це досі не є. Сьогодні FHE — точний інструмент для вузького набору задач, а не універсальний шар приватності.
Що таке захищені багатосторонні обчислення в машинному навчанні?
Захищені багатосторонні обчислення (SMPC) дозволяють кільком сторонам спільно обчислити функцію над їхніми об'єднаними приватними входами так, щоб жодна сторона не бачила сирих даних інших. Вхід кожної сторони лишається таємним. Відомим стає лише узгоджений результат. SMPC можна побудувати на техніках на кшталт розділення секрету, спотворених схем, забудькуватої передачі та їхніх поєднань. У протоколах розділення секрету приватні значення розбиваються на частки так, що окрема частка не розкриває вхід. Протоколи спотворених схем працюють інакше: вони кодують обчислення так, щоб сторони могли його виконати, не розкриваючи своїх приватних входів.
Природний сценарій — співпраця між організаціями. Кілька лікарень хочуть навчити модель на своїх об'єднаних даних пацієнтів, але жодна не може за законом передати записи іншим. SMPC дозволяє їм обчислити спільну модель так, ніби дані зведено докупи, а записи кожної лікарні лишаються запечатаними в ній. Накладні витрати SMPC сильно залежать від протоколу, моделі безпеки, стану мережі, кількості сторін і функції, що обчислюється. Багато протоколів вимогливі до обміну повідомленнями, тож продуктивність треба міряти на конкретній співпраці, а не ранжувати загалом проти диференційної приватності чи FHE. Саме цей сценарій для машинного навчання в охороні здоров'я розглядає оглядова стаття 2025 року в WIREs Computational Statistics.
Чи може модель машинного навчання видати свої навчальні дані?
Так. Навчена модель може видати свої навчальні дані кількома різними способами: атака визначення членства показує, чи був конкретний запис у навчальній вибірці, інверсія моделі та витік через градієнти дають змогу відновити записи, а великі мовні моделі здатні запам'ятати й дослівно видати шматки своїх навчальних даних. Це не гіпотези. Це продемонстровані атаки, і саме заради них існують описані вище методи.
Основоположний результат — висновок про членство. Шокрі з колегами в роботі Membership Inference Attacks Against Machine Learning Models (IEEE S&P 2017) показали, що атакувальник, спостерігаючи за поведінкою передбачень моделі, може визначити, чи входив певний запис до її навчальної вибірки. Це звучить абстрактно рівно доти, доки навчальною вибіркою не стають «пацієнти з певним діагнозом» — і тоді сама належність і є чутливим фактом. Інверсія моделі та згадані раніше атаки витоку через градієнти розширюють це від «чи був цей запис» до «відтвори запис».
Передній край — це великі мовні моделі, і саме там давніші підходи PPML пасують найгірше. Дослідження про те, що LLM видають навчальні дані великі моделі запам'ятовують частини свого навчального корпусу і їх можна спонукати відтворити його, документує атаки видобування, що відновлюють дослівні й майже дослівні навчальні дані. DP-SGD можна застосувати до приватного донавчання, але втрати точності та обчислювальна ціна в масштабі великих моделей суворі, і почасти саме тому воркшоп Apple з PPML 2026 року провів цілу секцію, присвячену фундаментальним моделям і приватності. Захисти, що чисто працюють для класифікатора на логістичній регресії, не переносяться безкоштовно на модель із мільярдами параметрів.
PPML і власно розміщений ШІ: що локальний інференс вам дає, а чого ні
Власний хостинг моделі лишає ваші дані на інфраструктурі, яку ви контролюєте. Це справжній виграш у контролі доступу та локалізації даних: дані не подорожують до третьої сторони, і ви вирішуєте, хто може дістатися машини, на якій усе працює. Але це не машинне навчання зі збереженням приватності. Локальний інференс сам по собі нічого не робить проти атаки визначення членства щодо моделі й не заважає моделі розкрити те, що вона запам'ятала.
Ці дві речі розв'язують різні половини задачі, і плутати їх — поширена помилка в цій царині. Локалізація даних керує тим, хто може дістатися даних: це питання периметра, на яке відповідають те, де лежать байти, і те, у кого ключі від кімнати. PPML керує тим, що може розкрити сама модель: це питання витоку інформації, на яке відповідають чотири описані вище методи. Запуск моделі на власному сервері — сильна відповідь на перше питання і жодна відповідь на друге.
Якщо питання, яке ви зважуєте, — чи взагалі запускати модель самостійно, то вартісний бік цього рішення заслуговує на окремий розбір: див. Самостійне розміщення open-weight LLM проти API: реальна математика вартості.
Розробляйте на Linux VPS з root-доступом, NVMe та потужністю AMD EPYC.
Переглянути тарифи LinuxДля інженера платформи чи інфраструктури операційне прочитання таке: «воно працює на нашому власному сервері» може задовольнити частину вимог щодо локалізації даних і контролю доступу, але саме по собі не обмежує того, що модель здатна розкрити. Якщо модель або її результати колись передаються далі — між командами, партнерам чи в продукт — периметр, збудований навколо заліза, не виходить за двері разом із моделлю. Архітектурні рішення, що справді зрушують гарантію, — це рішення PPML: диференційна приватність на результатах, які ви публікуєте, DP-FL для навчання на майданчиках, які не можна централізувати, обчислення на основі шифрування там, де дані не можна розкривати навіть власній інфраструктурі. Впровадження Provably Private Insights від Google повчальне саме тим, що воно поєднує засоби контролю — диференційну приватність, довірені середовища виконання та конфіденційну федеративну аналітику — замість покладатися на щось одне. Локалізація — частина справжньої архітектури. Вона не є всією архітектурою.
Коли яку техніку PPML застосовувати?
Логіка вибору йде за обмеженням, а не за модою. Беріть федеративне навчання, коли дані не можна централізувати. Беріть диференційну приватність, коли потрібна формальна гарантія щодо того, що розкриває модель. Беріть гомоморфне шифрування, коли обчислення має відбуватися над даними, які ніколи не розшифровуються, і затримка це дозволяє. Беріть захищені багатосторонні обчислення, коли кілька сторін мусять рахувати спільно, не розкриваючи своїх входів.
Техніки ще й поєднуються. DP-FL — найясніший приклад: обирайте заходи за тими гарантіями, яких потребує система, замість утискати задачу в одну техніку.
Компроміси одним поглядом:
| Техніка | Гарантія приватності | Обчислювальні накладні витрати | Де обробляються сирі дані? | Придатність для навчання LLM |
|---|---|---|---|---|
| Федеративне навчання | Немає без DP | Низьке | На кожному клієнті | Частково |
| Диференційна приватність (DP-SGD) | Формальна, задається епсилон і дельтою | Від низьких до середніх | Залежить від впровадження | Так, ціною точності та обчислень |
| Гомоморфне шифрування (FHE) | Формальна конфіденційність | Дуже високі | Зашифрованими на обчислювальному сервері | Лише експериментальне донавчання, не повне навчання великих моделей |
| Захищені багатосторонні обчислення | Формальна конфіденційність | Залежить від протоколу, часто впирається в обмін даними | Кожна сторона тримає свій вхід у себе | Частково |
Ці характеристики взято з огляду PPML для IoT, березень 2026 року, з бенчмарків Concrete ML від Zama та з літератури про деанонімізацію.
Таблиця — лише відправна точка. Реальні системи часто поєднують техніки: задача навчання між майданчиками, якій до того ж потрібна формальна гарантія приватності, зазвичай є задачею DP-FL, а не вибором між федеративним навчанням і диференційною приватністю. Тому, хто хоче структурувати рішення суворіше, стане в пригоді структурована система підтримки рішень для розробників , опублікована наприкінці 2024 року.
Щодо інструментів: TensorFlow Federated дає відкритий фреймворк для федеративного навчання й обчислень над децентралізованими даними. TensorFlow Privacy дає утиліти для диференційно приватного навчання, бібліотеки Differential Privacy від Google покривають диференційно приватну статистику й агрегацію, а Concrete ML дає шлях через FHE. PySyft тепер орієнтований ширше — на приватну віддалену роботу з даними, де обчислення виконуються над даними, що лишаються у власника, а назовні виходять лише схвалені результати. Ось назви й те, що вони роблять. Налаштування належить до окремих практичних посібників, не сюди. Урок, який повторюється: математика може бути правильною, а реалізація все одно провалиться. Гарантія важить лише тоді, коли систему спроєктовано навколо правильної моделі загроз, а параметри приватності відповідають ризику, який захищають.
Часті запитання
Що означає PPML?
Машинне навчання зі збереженням приватності — загальний термін для методів, які під час машинного навчання зменшують, обмежують або формально обмежують розкриття інформації. До основних підходів належать федеративне навчання, диференційна приватність, гомоморфне шифрування та захищені багатосторонні обчислення, але вони захищають різні активи й дають різного роду гарантії.
Чи достатньо федеративного навчання для захисту приватності?
Ні. Федеративне навчання лишає сирі дані в джерелі, але оновлення параметрів, які воно передає, можна обернути назад у навчальні записи за допомогою атак інверсії градієнта. Само по собі воно не дає жодної формальної гарантії приватності. Диференційна приватність може додати формальну межу витоку, і виходить комбінація, яку зазвичай називають DP-FL.
Яке значення епсилон обрати для диференційної приватності?
Універсального значення немає. Епсилон — один з головних параметрів компромісу між приватністю й точністю: менші значення зазвичай означають сильнішу приватність і більше шуму, більші — слабшу приватність і менше шуму. Правильне налаштування залежить від чутливості даних і від ризику, який ви готові прийняти. Універсального порогу, що робив би значення епсилон «безпечним», не існує. Оцінюйте епсилон разом з одиницею приватності, варіантом DP та будь-якими додатковими параметрами на кшталт дельти, методом композиції й моделлю загроз системи.
У чому різниця між PPML і анонімізацією?
Анонімізація прибирає ідентифікатори з набору даних, але анонімізовані записи можна деанонімізувати, зв'язавши їх із допоміжними даними з інших джерел. Частина технік PPML дає формальні гарантії, яких звичайна анонімізація не дає. Диференційна приватність здатна обмежити, наскільки дані однієї особи впливають на оприлюднений результат, а FHE та SMPC забезпечують інші форми криптографічної конфіденційності.
Чи можна видобути навчальні дані з моделі машинного навчання?
Так. Атаки визначення членства показують, чи був конкретний запис у навчальній вибірці, інверсія моделі та витік через градієнти дають змогу відновити записи, а великі мовні моделі здатні запам'ятати й дослівно видати навчальні дані. Це продемонстровані атаки, задокументовані в літературі з безпеки, а не гіпотетичні ризики.
Чи гарантує власний хостинг моделі приватність даних?
Ні. Власний хостинг лишає дані на інфраструктурі, яку ви контролюєте, а це контроль доступу й локалізація даних, справжній виграш у керуванні тим, хто може дістатися даних. Але це не машинне навчання зі збереженням приватності, і воно не спиняє ні визначення членства, ні витік через запам'ятовування. Воно добре поєднується з техніками PPML, але не заміняє їх.
Які відкриті інструменти існують для машинного навчання зі збереженням приватності?
Різні частини PPML покривають кілька відкритих інструментів. TensorFlow Federated підтримує федеративне навчання й обчислення над децентралізованими даними, TensorFlow Privacy дає утиліти для диференційно приватного навчання, а Concrete ML покриває машинне навчання з FHE. PySyft тепер зосереджений на приватній віддаленій роботі з даними, де обчислення виконуються над даними, якими розпоряджається їхній власник, а назовні йдуть лише схвалені результати.
