Privacy Backdoors: Stealing Data with Corrupted Pretrained Models (Paper Explained)

Attaque par porte dérobée dans les modèles pré-entraînés : Vol de données via des modèles corrompus

Introduction au concept de porte dérobée dans les modèles pré-entraînés

Nous proposons une nouvelle porte dérobée qui, une fois activée, capture un point de données dans les poids du modèle et se désactive ensuite.

• L'article présente une méthode innovante pour voler des données de fine-tuning à partir de modèles pré-entraînés compromis, comme BERT et les Vision Transformers (ViTs). L'idée centrale est qu'un attaquant peut modifier les poids d'un modèle pré-entraîné de manière à ce que, lors du fine-tuning par une victime, les données utilisées soient encodées de manière récupérable dans les poids du modèle final. Cette attaque fonctionne même dans un scénario de boîte noire où l'attaquant n'a accès qu'à des paires d'entrées/sorties via une API, ce qui est particulièrement inquiétant car cela contourne les protections traditionnelles de confidentialité des données.
• Le scénario typique implique une victime qui télécharge un modèle apparemment légitime (comme BERT) depuis une plateforme comme Hugging Face, l'utilise pour fine-tuner un classifieur sur ses données sensibles, puis soit le republie, soit le déploie via une API. L'attaquant, ayant préalablement corrompu le modèle de base, peut alors extraire les données de fine-tuning à partir des poids du modèle final ou via des requêtes API. Cette méthode ne repose pas sur des vulnérabilités techniques traditionnelles (comme l'exécution de code via pickle), mais exploite des propriétés fondamentales de l'apprentissage automatique et des mises à jour de gradients.
• L'approche est présentée comme un "concept" avec une implémentation pratique déjà fonctionnelle sur des architectures courantes. Bien que des obstacles pratiques existent (comme l'utilisation d'Adam ou du weight decay), les auteurs montrent que la méthode atteint les limites théoriques des garanties de confidentialité différentielle, remettant en question l'hypothèse commune que les bornes théoriques de confidentialité sont trop conservatrices en pratique. Cela suggère que même des techniques comme l'apprentissage différentiellement privé pourraient ne pas suffire à protéger contre ce type d'attaque sophistiquée.

Mécanisme d'attaque : exploitation des mises à jour de gradients

En divisant simplement le gradient par rapport à W par le gradient par rapport à b, nous pouvons reconstruire exactement le point de données x utilisé pour l'entraînement.

• Le cœur de l'attaque repose sur une analyse minutieuse des mises à jour de gradients dans une couche linéaire simple. Les auteurs considèrent d'abord le cas d'un perceptron monocouche avec une fonction ReLU. Lors d'une étape de descente de gradient stochastique (SGD), les gradients par rapport aux poids (W) et au biais (b) contiennent tous deux un terme commun qui est proportionnel au point de données d'entraînement x. En divisant ces gradients entre eux, on peut reconstruire exactement x.
• Pour que cette reconstruction soit possible, plusieurs conditions doivent être remplies : (1) la victime doit effectuer un vrai fine-tuning (pas seulement du last-layer tuning), (2) utiliser SGD (plutôt que des optimiseurs plus sophistiqués comme Adam), et (3) le modèle doit contenir des unités linéaires spécifiquement préparées par l'attaquant. Ces unités sont conçues pour "capturer" un point de données lors de la première activation, puis se "verrouiller" pour empêcher les mises à jour ultérieures qui pourraient brouiller l'information.
• Un aspect ingénieux de la méthode est l'utilisation stratégique de la fonction ReLU pour créer ce mécanisme de verrouillage. Après la première activation, les poids sont modifiés de manière à ce que la sortie de l'unité soit toujours négative (donc mise à zéro par la ReLU), ce qui bloque tout gradient ultérieur vers ces poids. Cela transforme effectivement le modèle en une "mémoire en lecture seule" pour les données capturées, préservant leur empreinte malgré les epochs d'entraînement supplémentaires.
• Les auteurs détaillent les calculs mathématiques montrant comment, en initialisant judicieusement un paramètre de grande amplitude (qu'ils appellent W1), ils peuvent amplifier le signal de gradient de manière à garantir que la mise à jour initiale soit suffisamment importante pour verrouiller l'unité. Cette amplification est cruciale car elle permet de dominer les autres signaux dans le modèle et d'assurer que le verrouillage persiste malgré le fine-tuning ultérieur.

Implications pour la confidentialité différentielle

Notre attaque atteint les pires bornes théoriques de l'entraînement différentiellement privé, montrant que les garanties pratiques ne sont pas aussi laxistes qu'on le pensait.

• Les résultats de l'article ont des implications profondes pour la confidentialité différentielle en ML. Traditionnellement, on supposait qu'en pratique, les garanties de confidentialité pouvaient être plus souples que les pires cas théoriques. Cependant, cette attaque démontre qu'un adversaire sophistiqué peut effectivement atteindre ces limites théoriques, compromettant ainsi les données même lorsque des techniques de confidentialité différentielle sont employées.
• Cela remet en question l'efficacité pratique des méthodes existantes pour protéger la vie privée dans l'apprentissage automatique, particulièrement dans les scénarios où les modèles de base pourraient être compromis. Les auteurs soulignent que leur attaque fonctionne même avec un fine-tuning complet (pas seulement le dernier layer), ce qui correspond à de nombreux cas d'usage réels où les utilisateurs adaptent l'ensemble du modèle à leur tâche spécifique.
• La discussion aborde également les différences entre les scénarios de boîte blanche (accès direct au modèle fine-tuné) et de boîte noire (accès uniquement via API). Dans ce dernier cas, l'attaquant doit d'abord effectuer une "extraction de modèle" pour estimer les poids avant de pouvoir récupérer les données, ajoutant une étape supplémentaire mais ne rendant pas l'attaque fondamentalement impossible.
• Cette section sert d'avertissement important pour la communauté du ML, suggérant que les garanties de confidentialité doivent être réévaluées en tenant compte de ce type d'attaques avancées. Les implications sont particulièrement graves pour les applications sensibles comme le traitement de données médicales ou d'identité, où la fuite de données d'entraînement pourrait avoir des conséquences légales et éthiques majeures.

Extension aux architectures Transformer

Pour capturer tous les tokens d'une séquence, nous concevons des portes dérobées qui ne s'activent que pour des tokens spécifiques à une position particulière dans une séquence d'entrée donnée.

• La généralisation de l'attaque aux architectures Transformer comme BERT et ViT présente des défis supplémentaires en raison de leur complexité. Les auteurs décrivent comment adapter le mécanisme de base pour fonctionner avec les couches d'attention et les MLP des Transformers, tout en gérant des séquences d'entrée plutôt que des vecteurs simples.
• La solution implique de diviser les caractéristiques cachées en trois composantes : (1) la partie "bénigne" pour le fonctionnement normal du modèle, (2) une "clé" pour identifier et capturer les données cibles, et (3) un module de propagation pour amplifier le signal jusqu'à la couche de sortie. Cette séparation permet de maintenir l'utilité du modèle tout en incorporant la fonctionnalité malveillante.
• Un défi majeur est de cibler des tokens spécifiques dans des positions particulières de la séquence d'entrée. Les auteurs utilisent des embeddings positionnels et séquentiels dans la partie "clé" du modèle pour garantir qu'une unité donnée ne s'active que pour un token à une position précise dans une séquence spécifique. Cela permet de reconstruire des points de données complets (comme des phrases entières) plutôt que des tokens isolés.
• La section détaille également comment les techniques standard comme la normalisation de couche (LayerNorm) et les fonctions d'activation comme GELU posent problème à l'attaque, et comment les contourner. Par exemple, l'ajout de grandes constantes aux signaux des portes dérobées permet de neutraliser l'effet de la normalisation sur ces signaux, préservant ainsi leur utilité pour la capture de données.

Mécanisme de verrouillage et robustesse

Notre porte dérobée agit comme un loquet : une fois activée et le point de données écrit dans les poids, elle se désactive et scelle l'information contre les mises à jour ultérieures.

• Le mécanisme de verrouillage est crucial pour que l'attaque fonctionne sur plusieurs epochs d'entraînement. Les auteurs expliquent comment, après la capture initiale d'un point de données, l'unité correspondante est "désactivée" de manière à préserver l'empreinte des données tout en empêchant les interférences des points de données ultérieurs.
• Ce verrouillage est obtenu en manipulant les poids de sorte que la sortie de l'unité soit toujours négative après la première activation, ce qui entraîne un gradient nul pour les mises à jour futures grâce à la propriété de la fonction ReLU. Cela crée effectivement une "mémoire" persistante dans les poids du modèle.
• La robustesse de ce mécanisme dépend fortement de l'initialisation des paramètres de biais. Les auteurs décrivent comment choisir ces biais pour cibler un nombre spécifique de points de données (en général un seul par unité), en les réglant pour que seul un sous-ensemble très spécifique des entrées provoque une activation.
• Cette section aborde également les limitations pratiques du mécanisme, notamment sa sensibilité à des techniques comme le weight decay ou la réinitialisation des poids inactifs, qui pourraient perturber le verrouillage. Cependant, les auteurs suggèrent que des améliorations pourraient surmonter ces obstacles, rendant l'attaque plus robuste dans des scénarios pratiques.

Résultats expérimentaux et reconstruction des données

Les reconstructions que nous obtenons correspondent à des échantillons d'entraînement exacts, pas simplement à des représentations latentes approximatives.

• Les expériences sur des MLP simples montrent des reconstructions presque parfaites des images d'entraînement, démontrant que la méthode capture les données exactes plutôt que des approximations. Dans certains cas où la reconstruction ne correspond pas exactement à un échantillon d'entraînement, il s'agit souvent d'une superposition de deux échantillons similaires, indiquant que le mécanisme de verrouillage a échoué partiellement.
• Pour les Vision Transformers, les auteurs obtiennent des reconstructions en niveaux de gris des images d'entraînement, prouvant que l'extension aux architectures modernes est possible malgré leur complexité. Les résultats montrent clairement que des objets spécifiques (comme des panneaux stop) peuvent être identifiés sans ambiguïté dans les données reconstruites.
• Dans le cas de BERT, les reconstructions textuelles capturent des séquences complètes lorsque le mécanisme fonctionne parfaitement. Lorsqu'il y a des échecs partiels, on observe soit des tokens isolés provenant d'autres séquences, soit des reconstructions incomplètes, mais même dans ces cas, l'information extraite reste significative.
• Cette section souligne la puissance de l'attaque en montrant des exemples concrets de fuites de données, démontrant que la menace est réelle et non simplement théorique. Les résultats expérimentaux valident les analyses mathématiques précédentes et montrent que l'attaque peut être mise en œuvre avec succès sur des architectures courantes.

Calibration et ciblage des données

En pratique, il suffit que l'attaquant connaisse approximativement la distribution des données cibles pour calibrer efficacement les portes dérobées.

• Une question cruciale est de savoir comment l'attaquant peut cibler des données spécifiques sans les connaître à l'avance. Les auteurs expliquent qu'une connaissance approximative de la distribution des données suffit pour calibrer les paramètres des portes dérobées (notamment les poids W et les biais).
• Cette calibration implique de positionner les hyperplans de décision (via les W) pour qu'ils correspondent à des régions probables de l'espace d'entrée, et de régler les biais pour contrôler la fréquence d'activation. Même sans connaître les points de données exacts, cette approche permet de capturer des échantillons représentatifs avec une probabilité élevée.
• Pour les Transformers, cette calibration devient plus complexe car elle doit tenir compte des embeddings positionnels et séquentiels. Les auteurs décrivent comment échantillonner ces paramètres pour couvrir efficacement l'espace des entrées possibles tout en maintenant une spécificité suffisante pour isoler des points de données individuels.
• Cette discussion est particulièrement importante car elle montre que l'attaque ne nécessite pas une connaissance parfaite des données cibles, ce qui la rend réalisable dans des scénarios pratiques. Un attaquant pourrait, par exemple, préparer des modèles pour des tâches spécifiques (comme la détection de PII) en se basant sur une compréhension générale du type de données impliquées.

Contournement des techniques de normalisation

La normalisation de couche est particulièrement problématique car elle mélange les différentes dimensions, mais nous avons développé des astuces numériques pour préserver nos signaux.

• Les techniques standard comme LayerNorm et GELU posent des défis importants à l'attaque car elles altèrent les signaux des portes dérobées. Les auteurs décrivent des méthodes pour contourner ces obstacles, comme l'ajout de grandes constantes aux signaux des portes dérobées pour neutraliser l'effet de la normalisation.
• Pour LayerNorm, l'astuce consiste à rendre le signal des portes dérobées tellement plus grand que les autres activations que la normalisation devient essentiellement inefficace sur ces dimensions. Cela permet de préserver l'information malveillante malgré les opérations de normalisation.
• Concernant GELU (et autres alternatives à ReLU), les auteurs adaptent le mécanisme de verrouillage pour tenir compte du fait que ces fonctions n'ont pas de région strictement nulle. Cela implique des ajustements numériques pour simuler le comportement de verrouillage malgré les petits gradients résiduels.
• Ces solutions, bien que techniques, montrent que l'attaque peut être adaptée pour fonctionner avec les architectures modernes, malgré leurs mécanismes de régularisation. Cela suggère que les défenses ne peuvent pas compter uniquement sur ces techniques pour prévenir ce type de fuites de données.

Conclusion et implications futures

Bien que des obstacles pratiques existent, cette attaque créative ouvre la voie à de nouvelles recherches sur les vulnérabilités fondamentales des modèles de ML.

• L'article conclut en reconnaissant que des obstacles pratiques (comme l'utilisation d'Adam ou de weight decay) limitent actuellement l'efficacité de l'attaque, mais souligne qu'il s'agit d'une première étape importante dans l'exploration de ce nouveau vecteur d'attaque.
• Les implications vont au-delà de la sécurité immédiate, suggérant que la communauté du ML doit reconsidérer certaines hypothèses fondamentales sur la confidentialité des données dans les pipelines d'entraînement. La possibilité que des modèles pré-entraînés puissent être subtilement corrompus pour fuiter des données ultérieures est une préoccupation majeure.
• Les auteurs anticipent des extensions futures, comme l'adaptation à des techniques de fine-tuning plus sophistiquées (comme LoRA), et encouragent davantage de recherches pour comprendre et mitiger ce type de vulnérabilités.
• Enfin, la disponibilité du code et la reproducibilité des résultats soulignent l'importance pratique de ce travail, qui n'est pas seulement théorique mais représente une menace concrète que les praticiens du ML doivent prendre en compte dans leurs déploiements sensibles.