Challenge 74 ☆☆

Bienvenue dans le défi Challenge 74.

Défi 74 : Convaincre l’assistant IA de révéler le secret

Les assistants IA peuvent recevoir des instructions système contenant des informations confidentielles. Si ces instructions ne sont pas correctement protégées, une injection de prompt peut amener l’assistant à révéler des informations qu’il lui avait explicitement demandé de garder secrètes.

Cette application propose un petit assistant IA. Ce dernier a reçu des informations confidentielles dans ses instructions et a reçu la consigne de ne jamais les divulguer.

Discutez avec l’assistant et trouvez un moyen de le convaincre de révéler les informations confidentielles.

Note

L’assistant a reçu l’ordre formel de ne pas divulguer les informations confidentielles. Essayez différentes approches et techniques pour tenter de lui faire révéler ses instructions ou le secret.

💡 Astuce : les secrets sont souvent des chaînes, des nombres ou des valeurs encodées. Copiez-collez exactement ce que vous trouvez.

Vous pouvez résoudre ce défi en suivant les étapes suivantes :

  1. Interagir avec l’assistant IA :

    • Utilisez l’interface de chat fournie dans le défi.

    • Posez des questions à l’assistant et observez ses réponses.

    • N’oubliez pas que l’assistant a reçu des informations confidentielles dans le cadre de ses instructions.

  2. Examiner comment l’assistant est formé :

    • Demandez à l’assistant des précisions sur les instructions, les règles ou le contexte.

    • Réfléchissez aux informations dont le modèle pourrait disposer et qui ne sont pas directement visibles dans l’interface de chat.

  3. Essayez l’injection de prompt :

    • L’assistant a reçu pour instruction de ne pas divulguer les informations confidentielles.

    • Essayez de rédiger des messages qui modifient, remplacent ou manipulent ces instructions.

    • Demandez à l’assistant de révéler des informations tirées de ses instructions ou de son contexte.

  4. Cherchez le secret :

    • Si vous parvenez à obtenir de l’assistant la divulgation des informations confidentielles, utilisez la valeur révélée comme solution au défi.

Pourquoi l’intégration de secrets dans les invites des systèmes d’IA présente un risque de fuite de secrets

Les assistants IA reçoivent généralement une invite système contenant des instructions définissant leur comportement. Il peut être tentant d’y inclure des informations sensibles et de simplement demander au modèle de ne pas les révéler.

C’est précisément ce qui se passe dans ce défi : l’application place le secret directement dans l’invite système de l’assistant IA et indique au modèle de ne pas le divulguer.

L’invite système ne constitue pas une barrière de sécurité. Le modèle reçoit à la fois les instructions système et les entrées de l’utilisateur dans le cadre de son contexte. Un utilisateur peut concevoir des invites visant à modifier le comportement du modèle, à exposer ses instructions ou à l’inciter à divulguer des informations contextuelles.

Dans ce scénario, trois défaillances s’accumulent :

  • Le secret est directement intégré au contexte du modèle, le rendant ainsi accessible à celui-ci lors de l’inférence.

  • L’application repose sur le modèle suivant une instruction visant à préserver la confidentialité du secret.

  • Un utilisateur peut interagir directement avec le modèle et tenter de manipuler ces instructions par injection d’invite.

Si le modèle révèle le secret, les informations confidentielles de l’application ont franchi la limite de sécurité prévue.

Que faire à la place :

- N’utilisez jamais l’invite système d’un modèle d’IA comme mécanisme de gestion des secrets.
- Dans la mesure du possible, gardez les secrets en dehors du contexte du modèle.
- N'accordez à l'application l'accès aux secrets que lorsqu'ils sont réellement nécessaires à une opération.
- Considérez toutes les invites fournies par l'utilisateur comme des entrées potentiellement hostiles.
- Appliquer les autorisations et les contrôles d'accès dans l'application plutôt que de s'appuyer sur le modèle pour les appliquer.
- Si des informations sensibles sont accidentellement exposées à un modèle, considérez ces informations comme potentiellement compromises et remplacez les identifiants concernés le cas échéant.
Note

Une invite système est une instruction adressée à un modèle d’IA, et non un mécanisme de contrôle d’accès. Dire à un modèle « ne jamais révéler ce secret » ne garantit pas sa confidentialité. Si des informations doivent rester secrètes, l’application doit imposer cette restriction en dehors du modèle.


0