Что такое машинное обучение с сохранением конфиденциальности?

Команда решает запустить языковую модель на собственных серверах вместо обращения к внешнему API. Мотив — конфиденциальность: держать чувствительные данные у себя и никогда не передавать их третьей стороне. Инстинкт верный, и контроль, который он даёт, реален, но он неполон. Модель, обученную на приватных записях, можно заставить раскрыть, была ли запись конкретного человека в её обучающей выборке. Федеративные обновления, которые никогда не несут сырых данных, можно обратить и восстановить изображения, которые их породили. Большая модель способна запомнить и выдать фрагменты того, на чём её обучали. Данные остались дома, а модель всё равно дала утечку.

Именно этот разрыв — между ощущением приватности и доказуемой приватностью — и закрывает машинное обучение с сохранением конфиденциальности. Стандартный конвейер машинного обучения требует, чтобы сырые данные были доступны обучающей инфраструктуре, а это сталкивается с регулированием приватности, с требованиями суверенитета данных и с партнёрами, которые вообще не станут делиться своими наборами данных. Машинное обучение с сохранением конфиденциальности — это семейство методов, которое разрешает это столкновение.

Полезное различие проходит между методами, которые сокращают перемещение данных, методами, которые ограничивают то, что могут раскрыть результаты, и методами, которые сохраняют конфиденциальность данных во время вычислений. Самостоятельный хостинг стоит рядом с этими мерами, а не заменяет их.

Кратко

• Машинное обучение с сохранением конфиденциальности (PPML) — это зонтичная категория, а не один метод. Эта статья сосредоточена на четырёх основных подходах: федеративное обучение, дифференциальная приватность, гомоморфное шифрование и защищённые многосторонние вычисления. В системах PPML могут встречаться и другие архитектуры повышения приватности, включая доверенные среды исполнения.
• Одно только федеративное обучение не даёт формальной гарантии приватности. Оно оставляет сырые данные в источнике, но общие обновления градиентов иногда удаётся обратить и восстановить обучающие записи. Дифференциальная приватность — распространённый способ добавить формальную границу утечки.
• Силу дифференциальной приватности обычно сводят к эпсилон. Гарантия зависит также от дельты, защищаемой единицы и метода учёта приватности. Формальная гарантия со слабыми параметрами остаётся гарантией на бумаге — и театром на практике.
• Гомоморфное шифрование реально и медленно. Вычисления над зашифрованными данными работают, но накладные расходы сегодня ограничивают их более простыми моделями, инференсом, терпимым к задержкам, и экспериментальными сценариями дообучения, а не обычным обучением больших моделей и не полным предобучением.
• Самостоятельный хостинг модели — это локализация данных, а не PPML. Хранение данных на инфраструктуре, которую вы контролируете, определяет, кто может до них добраться. Оно не определяет, что может раскрыть сама модель.

Замечание об охвате: это концептуальное объяснение, а не руководство по внедрению. Здесь нет подробного разбора настройки библиотек, выбора эпсилон, соответствия регуляторным требованиям или приватного дообучения LLM. Цель здесь — карта. Пошаговые указания относятся к отдельным практическим руководствам.

Как машинное обучение с сохранением конфиденциальности защищает данные

Машинное обучение с сохранением конфиденциальности — это общий термин для методов, которые сокращают, ограничивают или формально ограничивают раскрытие информации при обучении моделей, инференсе и совместном анализе. Эта статья сосредоточена на четырёх основных подходах: федеративное обучение, дифференциальная приватность, гомоморфное шифрование и защищённые многосторонние вычисления. Они защищают разные активы в разных моделях угроз, поэтому считать их взаимозаменяемыми гарантиями нельзя.

Проблема проста: стандартные ML-конвейеры обычно исходят из того, что процесс обучения может обращаться к сырым записям, тогда как регулирование приватности, требования суверенитета данных и партнёрские соглашения часто такой доступ запрещают. Четыре семейства отвечают на это ограничение по-разному: переносить вычисления к данным вместо переноса данных к вычислениям (федеративное обучение), добавлять калиброванный шум, чтобы результаты меньше говорили о конкретном человеке (дифференциальная приватность), вычислять на данных, которые остаются зашифрованными (гомоморфное шифрование), либо позволить нескольким сторонам совместно вычислить результат, не раскрывая друг другу сырые входные данные (защищённые многосторонние вычисления).

Лежащий в основе риск прямо сформулирован в материале руководство Google по ответственному ИИ: модели машинного обучения могут запоминать или раскрывать аспекты данных, которым они были подвергнуты, и работа над приватностью существует, чтобы поставить вокруг этого ограждения. PPML отвечает на этот риск и отличается от простой анонимизации по причинам, которые следующий раздел делает конкретными.

Почему анонимизации недостаточно?

Анонимизированные данные всё ещё можно деанонимизировать. Удаление имён и очевидных идентификаторов из набора данных снижает явное раскрытие, но не гарантирует приватности, как только эти данные можно связать со сторонней информацией. Это постоянная слабость подходов к деидентификации вроде k-анонимности: они способны снизить идентифицируемость при определённых допущениях, но не дают формальных гарантий, доступных для таких техник, как дифференциальная приватность или криптографические методы PPML.

Это практическое различие важно всякому, кому говорили: «мы это анонимизировали, значит всё в порядке». Анонимизация — это утверждение о наборе данных в конкретном контексте и конкретной модели угроз. Атаке связывания не нужно ломать шифрование или обходить контроль доступа. Ей нужен лишь другой набор данных, пересекающийся с вашим. Прямо об этом говорится в документе руководство NIST по деидентификации, где отмечено, что деидентифицированные данные всё ещё можно деанонимизировать, связав их со вспомогательными наборами данных.

Дифференциальная приватность даёт то, чего обычная деидентификация не даёт: математическую границу на то, насколько данные одного человека могут повлиять на опубликованный результат, при заданной единице приватности и модели угроз. Гомоморфное шифрование и SMPC обеспечивают иные виды криптографической конфиденциальности, а федеративное обучение меняет прежде всего то, где данные обрабатываются. Эти гарантии родственны, но они не одно и то же.

Как работает федеративное обучение и почему его одного недостаточно?

В федеративном обучении глобальная модель рассылается на локальные устройства или серверы, обучается на данных, лежащих там, и возвращает в центр только обновления параметров. Сырые данные никуда не перемещаются. Это по-настоящему полезная схема, и она работает в продакшене в большом масштабе. Она же сама по себе не является гарантией приватности.

Механизм устроен как «модель к данным», а не «данные к модели». Развёртывание Gboard от Google запускает более 30 языковых моделей прямо на устройстве, более чем на 7 языках и в более чем 15 странах, обучаясь на тексте, который никогда не покидает телефон. Это федеративное обучение, работающее как заявлено: клавиатура становится лучше, а Google не собирает то, что вы набрали.

Проблема в том, что путешествует внутри обновлений. Градиенты несут информацию о породивших их данных, и эту информацию можно восстановить. Чжу, Лю и Хань показали это в работе Deep Leakage from Gradients (NeurIPS 2019), продемонстрировав атаки инверсии градиента, которые восстанавливают приватные обучающие примеры из общих обновлений модели, с точным попиксельным восстановлением изображений и совпадением по токенам для текста в их экспериментах. Федеративное обучение сократило перемещение данных. Оно не устранило риск утечки.

Если цель — ограничить то, что может раскрыть участие, дифференциальная приватность является распространённым дополнением. Безопасная агрегация закрывает другой риск: она скрывает индивидуальные обновления клиентов от координирующего сервера. Gboard сочетает федеративное обучение с формальной дифференциальной приватностью, а не полагается на одну лишь федерацию.

Примечание: Федеративное обучение часто называют «приватным», потому что сырые данные остаются в источнике. Это описание вводит в заблуждение. Без дополнительной защиты федеративные обновления могут нести достаточно сигнала, чтобы восстановить обучающие записи. DP-FL добавляет формальную гарантию дифференциальной приватности вместо опоры на одну лишь федерацию. Сама по себе федерация — это решение об обращении с данными, а не доказательство приватности.

Что такое дифференциальная приватность и чем на самом деле управляет эпсилон?

Дифференциальная приватность — это математическое определение, ограничивающее, насколько может измениться анализ при добавлении или удалении одной единицы приватности. Многие механизмы достигают этой гарантии, добавляя калиброванную случайность. Эпсилон — один видимый параметр, но осмысленная гарантия зависит также от единицы приватности, варианта DP и любых дополнительных параметров вроде дельты, плюс от композиции, учёта и деталей реализации.

Эпсилон описывается как бюджет приватности в материале глоссарий NVIDIA: меньшие значения означают более сильную приватность, но больше шума, большие значения сохраняют точность ценой более слабых гарантий. Распространённый способ применить дифференциальную приватность при обучении глубоких сетей — DP-SGD, дифференциально приватный стохастический градиентный спуск: обрезать градиент каждого примера до ограниченного размера, добавить калиброванный гауссовский шум и затем агрегировать. Обрезание ограничивает влияние любого отдельного примера на модель. Шум скрывает то влияние, что осталось.

Этот бюджет расходуется. Механизм описан в материале документация Tumult Analytics о бюджетах приватности: каждый запрос к защищённому набору данных расходует часть бюджета приватности. То, как эти траты складываются, — стандартная теория дифференциальной приватности, изложенная в книге The Algorithmic Foundations of Differential Privacy Дворк и Рота: при базовой композиции k запросов, каждый с параметром эпсилон, дают суммарную потерю приватности k умножить на эпсилон, а теоремы продвинутой композиции дают более тесные границы. Неограниченного числа вопросов вам никто не даст. Вам дают бюджет, и вы его тратите.

Поэтому именно выбор параметров решает, значима ли гарантия на практике. Рецензируемая критика подходов к приватности в машинном обучении утверждает, что математическая рамка способна придать «налёт объективности», которым потом отбеливают проект. Задайте параметры приватности достаточно слабо, и гарантия станет почти бессмысленной, а команда всё равно сможет заявить, что удовлетворила дифференциальной приватности. Гарантия реальна. Её практическая сила — вопрос проектного решения.

Примечание: Гарантия дифференциальной приватности осмысленна только тогда, когда вы знаете параметры приватности и единицу, которую они защищают. Очень большой эпсилон, свободная дельта или невнятный учёт способны превратить технически корректную гарантию в почти нулевую защиту на практике. Фраза «эта система использует дифференциальную приватность» сама по себе не говорит почти ничего: смысл несут параметры приватности, то, на чём их измеряли, и то, как они складываются. Конкретные внедрения делают это осязаемым. Google сообщает об эпсилон, равном 1, на уровне пользователя для своей системы Provably Private Insights, но это выбор одного внедрения для одного сценария, а не число для копирования.

Как гомоморфное шифрование вычисляет на данных, которые никогда не расшифровывает?

Полностью гомоморфное шифрование (FHE) позволяет серверу выполнять вычисления прямо над зашифрованными данными и возвращать зашифрованный результат, расшифровать который может только владелец данных. Сервер делает работу, ни разу не увидев открытый текст. Это один из сильнейших инструментов приватности в области, но компромисс здесь — производительность.

Полезная аналогия — запертый перчаточный бокс со встроенными перчатками: работник может просунуть в него руки и манипулировать содержимым, ни разу не открыв бокс и не вынув содержимое. Единственный ключ — у владельца данных. Вычисление происходит над запечатанным содержимым, и только владелец может открыть бокс и прочитать результат. Именно это FHE делает математически: оперирует над шифротекстом так, что расшифровка результата даёт тот же ответ, что дало бы вычисление над открытым текстом.

Загвоздка в цене. Concrete ML от Zama преобразует модели scikit-learn и PyTorch в FHE-совместимые эквиваленты, не заставляя пользователя работать напрямую с криптографическими примитивами, а её версия v1.9 вышла 10 апреля 2025 года. Но собственные бенчмарки проекта показывают накладные расходы: сеть классификации изображений CIFAR10 работает под FHE примерно 4 минуты на изображение. Для части инференса, терпимого к задержкам, для более простых моделей и для экспериментального зашифрованного дообучения это нормально. Практическим путём к полному предобучению больших моделей или к обычным нагрузкам их обучения это по-прежнему не является. Сегодня FHE — точный инструмент для узкого набора задач, а не универсальный слой приватности.

Что такое защищённые многосторонние вычисления в машинном обучении?

Защищённые многосторонние вычисления (SMPC) позволяют нескольким сторонам совместно вычислить функцию над их объединёнными приватными входами так, чтобы ни одна сторона не видела сырых данных других. Вход каждой стороны остаётся секретным. Известным становится только согласованный результат. SMPC можно строить на таких техниках, как разделение секрета, искажённые схемы, забывчивая передача и их сочетания. В протоколах разделения секрета приватные значения разбиваются на доли так, что отдельная доля не раскрывает вход. Протоколы искажённых схем работают иначе: они кодируют вычисление так, чтобы стороны могли его вычислить, не раскрывая свои приватные входы.

Естественный сценарий — межорганизационное сотрудничество. Несколько больниц хотят обучить модель на своих объединённых данных пациентов, но ни одна не может по закону передать записи другим. SMPC позволяет им вычислить совместную модель так, будто данные объединены, при этом записи каждой больницы остаются запечатанными внутри неё. Накладные расходы SMPC сильно зависят от протокола, модели безопасности, состояния сети, числа сторон и вычисляемой функции. Многие протоколы требовательны к обмену сообщениями, поэтому производительность надо мерить на конкретной коллаборации, а не ранжировать вообще против дифференциальной приватности или FHE. Именно этот сценарий для машинного обучения в здравоохранении разбирает обзор 2025 года в WIREs Computational Statistics.

Может ли модель машинного обучения выдать свои обучающие данные?

Да. Обученная модель может выдать свои обучающие данные несколькими разными способами: атака вывода о членстве показывает, была ли конкретная запись в обучающей выборке, инверсия модели и утечка через градиенты позволяют восстановить записи, а большие языковые модели способны запомнить и дословно выдать куски своих обучающих данных. Это не гипотезы. Это продемонстрированные атаки, и именно ради них существуют перечисленные выше техники.

Основополагающий результат — вывод о членстве. Шокри с коллегами в работе Membership Inference Attacks Against Machine Learning Models (IEEE S&P 2017) показали, что атакующий, наблюдающий за поведением предсказаний модели, может определить, входила ли данная запись в её обучающую выборку. Это звучит абстрактно ровно до того момента, когда обучающая выборка — «пациенты с определённым диагнозом»; тогда сам факт членства и есть чувствительная информация. Инверсия модели и обсуждённые ранее атаки утечки через градиенты расширяют это от «была ли запись» до «восстановить запись».

Передний край — это большие языковые модели, и именно там прежние подходы PPML подходят хуже всего. Исследование о том, что LLM выдают обучающие данные большие модели запоминают части своего обучающего корпуса и их можно подтолкнуть воспроизвести его, документирует атаки извлечения, восстанавливающие дословные и почти дословные обучающие данные. DP-SGD применим к приватному дообучению, но потери точности и вычислительная цена в масштабе больших моделей суровы, и отчасти поэтому воркшоп Apple по PPML 2026 года провёл целую секцию, посвящённую фундаментальным моделям и приватности. Защиты, которые чисто работают для классификатора на логистической регрессии, не переносятся бесплатно на модель с миллиардами параметров.

PPML и самостоятельно размещённый ИИ: что локальный инференс вам даёт, а что нет

Самостоятельный хостинг модели оставляет ваши данные на инфраструктуре, которую вы контролируете. Это настоящая победа в контроле доступа и локализации данных: данные не уезжают к третьей стороне, и вы решаете, кто может добраться до машины, где всё крутится. Но это не машинное обучение с сохранением конфиденциальности. Локальный инференс сам по себе ничего не делает против атаки вывода о членстве и не мешает модели раскрыть то, что она запомнила.

Эти две вещи решают разные половины задачи, и их смешение — распространённая ошибка в этой области. Локализация данных определяет, кто может добраться до данных: это вопрос периметра, на который отвечают то, где лежат байты, и то, у кого ключи от комнаты. PPML определяет, что может раскрыть сама модель: это вопрос утечки информации, на который отвечают четыре описанные выше техники. Запуск модели на собственном сервере — сильный ответ на первый вопрос и вовсе не ответ на второй.

Если вы взвешиваете, стоит ли вообще запускать модель самостоятельно, то стоимостная сторона этого решения — отдельный разбор: смотрите Self-hosting open-weight LLM против API: реальная математика стоимости.

Для инженера платформы или инфраструктуры операционное прочтение такое: «оно крутится на нашем сервере» может удовлетворить часть требований по локализации данных и контролю доступа, но само по себе не ограничивает того, что модель способна раскрыть. Если модель или её выводы когда-нибудь передаются дальше — между командами, партнёрам или в продукт — построенный вокруг железа периметр не выходит за дверь вместе с моделью. Архитектурные решения, которые действительно двигают гарантию, — это решения PPML: дифференциальная приватность на публикуемых результатах, DP-FL для обучения по площадкам, которые нельзя централизовать, вычисления на основе шифрования там, где данные нельзя раскрывать даже собственной инфраструктуре. Внедрение Provably Private Insights от Google поучительно именно тем, что комбинирует средства контроля — дифференциальную приватность, доверенные среды исполнения и конфиденциальную федеративную аналитику — вместо опоры на что-то одно. Локализация — часть настоящей архитектуры. Она не есть вся архитектура.

Когда какую технику PPML применять?

Логика выбора следует за ограничением, а не за модой. Берите федеративное обучение, когда данные нельзя централизовать. Берите дифференциальную приватность, когда нужна формальная гарантия на то, что раскрывает модель. Берите гомоморфное шифрование, когда вычисление должно идти над данными, которые никогда не расшифровываются, и задержки это позволяют. Берите защищённые многосторонние вычисления, когда несколько сторон должны считать совместно, не раскрывая свои входы.

Техники ещё и сочетаются. DP-FL — самый ясный пример: выбирайте меры по тем гарантиям, которые нужны системе, вместо того чтобы втискивать задачу в одну технику.

Компромиссы одним взглядом:

Эти характеристики взяты из обзора обзор PPML для IoT, март 2026 года, из бенчмарков Concrete ML от Zama и из литературы по деанонимизации.

Таблица — только отправная точка. Реальные системы часто комбинируют техники: задача обучения по нескольким площадкам, которой вдобавок нужна формальная гарантия приватности, обычно является задачей DP-FL, а не выбором между федеративным обучением и дифференциальной приватностью. Тому, кто хочет структурировать решение строже, пригодится структурированная система поддержки решений для разработчиков , опубликованная в конце 2024 года.

Что до инструментов, TensorFlow Federated даёт открытый фреймворк для федеративного обучения и вычислений над децентрализованными данными. TensorFlow Privacy даёт утилиты для дифференциально приватного обучения, библиотеки Differential Privacy от Google покрывают дифференциально приватную статистику и агрегацию, а Concrete ML даёт путь через FHE. PySyft теперь ориентирован шире, на приватную удалённую работу с данными, где вычисления выполняются над данными, которые остаются у владельца, а наружу уходят только одобренные результаты. Вот названия и то, что они делают. Настройка относится к отдельным практическим руководствам, не сюда. Повторяющийся урок в том, что математика может работать, а реализация всё равно проваливается. Гарантия имеет значение только тогда, когда система спроектирована под правильную модель угроз, а параметры приватности соответствуют защищаемому риску.

Часто задаваемые вопросы

Что означает PPML?

Машинное обучение с сохранением конфиденциальности — общий термин для методов, которые сокращают, ограничивают или формально ограничивают раскрытие информации во время машинного обучения. К основным подходам относятся федеративное обучение, дифференциальная приватность, гомоморфное шифрование и защищённые многосторонние вычисления, но они защищают разные активы и дают разного рода гарантии.

Достаточно ли федеративного обучения для защиты приватности?

Нет. Федеративное обучение оставляет сырые данные в источнике, но передаваемые обновления параметров можно обратить и восстановить обучающие записи с помощью атак инверсии градиента. Само по себе оно не даёт формальной гарантии приватности. Дифференциальная приватность способна добавить формальную границу утечки, и получается комбинация, которую обычно называют DP-FL.

Какое значение эпсилон выбрать для дифференциальной приватности?

Универсального значения не существует. Эпсилон — один из главных параметров компромисса между приватностью и точностью: меньшие значения обычно означают более сильную приватность и больше шума, большие — более слабую приватность и меньше шума. Правильная настройка зависит от чувствительности данных и от риска, который вы готовы принять. Универсального порога, делающего значение эпсилон «безопасным», нет. Оценивайте эпсилон вместе с единицей приватности, вариантом DP и любыми дополнительными параметрами вроде дельты, методом композиции и моделью угроз системы.

В чём разница между PPML и анонимизацией?

Анонимизация убирает идентификаторы из набора данных, но анонимизированные записи можно деанонимизировать, связав их со вспомогательными данными из других источников. Часть техник PPML даёт формальные гарантии, которых обычная анонимизация не даёт. Дифференциальная приватность способна ограничить влияние данных одного человека на опубликованный результат, а FHE и SMPC обеспечивают иные формы криптографической конфиденциальности.

Можно ли извлечь обучающие данные из модели машинного обучения?

Да. Атаки вывода о членстве показывают, была ли конкретная запись в обучающей выборке, инверсия модели и утечка через градиенты позволяют восстановить записи, а большие языковые модели способны запомнить и дословно выдать обучающие данные. Это продемонстрированные атаки, задокументированные в литературе по безопасности, а не гипотетические риски.

Гарантирует ли самостоятельный хостинг модели приватность данных?

Нет. Самостоятельный хостинг оставляет данные на инфраструктуре, которую вы контролируете, а это контроль доступа и локализация данных, реальный выигрыш в управлении тем, кто может до данных добраться. Это не машинное обучение с сохранением конфиденциальности, и оно не останавливает ни вывод о членстве, ни утечки через запоминание. Оно хорошо сочетается с техниками PPML, но не заменяет их.

Какие есть открытые инструменты для машинного обучения с сохранением конфиденциальности?

Разные части PPML покрывают несколько открытых инструментов. TensorFlow Federated поддерживает федеративное обучение и вычисления над децентрализованными данными, TensorFlow Privacy даёт утилиты для дифференциально приватного обучения, а Concrete ML покрывает машинное обучение с FHE. PySyft теперь сосредоточен на приватной удалённой работе с данными, где вычисления идут над данными, которыми распоряжается их владелец, а наружу уходят только одобренные результаты.