Challenge 74 ☆☆

Bienvenido al desafío Challenge 74.

Desafío 74: Convence al asistente de IA para que revele el secreto

Los asistentes de IA pueden recibir instrucciones del sistema que contienen información confidencial. Si esas instrucciones no están debidamente protegidas, una inyección de código podría provocar que el asistente revele información que se le ordenó explícitamente mantener en secreto.

Esta aplicación proporciona un pequeño asistente de IA. El asistente ha recibido información confidencial en sus instrucciones y se le ha indicado que nunca la revele.

Habla con el asistente y busca la manera de convencerlo para que revele la información confidencial.

Note

Se le ha indicado explícitamente al asistente que no revele la información confidencial. Pruebe diferentes preguntas y técnicas para ver si logra que revele las instrucciones o el secreto.

💡 Consejo: Los secretos suelen ser cadenas, números o valores codificados. Copia y pega exactamente lo que encuentres.

Puedes resolver este desafío siguiendo estos pasos:

  1. Interactúa con el asistente de IA:

    • Utiliza la interfaz de chat proporcionada en el desafío.

    • Hazle preguntas al asistente y observa cómo responde.

    • Recuerde que el asistente ha recibido información confidencial como parte de sus instrucciones.

  2. Investigar cómo se instruye al asistente:

    • Pregunte al asistente sobre sus instrucciones, reglas o contexto.

    • Considere qué información podría estar disponible para el modelo que no sea directamente visible en la interfaz de chat.

  3. Pruebe la inyección inmediata:

    • Se le ha indicado al asistente que no revele la información confidencial.

    • Intenta redactar mensajes que modifiquen, anulen o manipulen esas instrucciones.

    • Pídele al asistente que revele información de sus instrucciones o contexto.

  4. Busca el secreto:

    • Si logras que el asistente revele la información confidencial, utiliza el valor revelado como solución al desafío.

Por qué incluir secretos en las indicaciones de los sistemas de IA supone un riesgo de filtración de información confidencial

Los asistentes de IA suelen recibir instrucciones del sistema que definen su comportamiento. Puede resultar tentador incluir información confidencial en dichas instrucciones y simplemente indicarle al modelo que no la revele.

Esto es precisamente lo que ocurre en este desafío: la aplicación introduce el secreto directamente en el sistema de solicitud del asistente de IA y le indica al modelo que no lo revele.

El mensaje del sistema no constituye una barrera de seguridad. El modelo recibe tanto las instrucciones del sistema como la entrada del usuario como parte de su contexto. Un usuario puede crear deliberadamente mensajes que intenten modificar el comportamiento del modelo, exponer sus instrucciones o persuadirlo para que revele información de su contexto.

En este escenario, tres fallos se acumulan:

  • El secreto se coloca directamente en el contexto del modelo, lo que lo hace accesible al modelo durante la inferencia.

  • La aplicación depende de que el modelo siga la instrucción de mantener el secreto confidencial.

  • El usuario puede interactuar directamente con el modelo e intentar manipular esas instrucciones mediante la inyección de comandos.

Si el modelo revela el secreto, la información confidencial de la aplicación habrá traspasado el límite de seguridad previsto.

Qué hacer en su lugar:

- Nunca utilice la función de aviso del sistema de un modelo de IA como mecanismo de gestión de secretos.
- Mantén los secretos fuera del contexto del modelo siempre que sea posible.
- Otorgue a la aplicación acceso a los secretos solo cuando sean realmente necesarios para una operación.
- Tratar todas las indicaciones proporcionadas por el usuario como información potencialmente maliciosa.
- Aplicar los controles de autorización y acceso en la aplicación en lugar de depender del modelo para que los aplique.
- Si una modelo accede accidentalmente a información confidencial, trate dicha información como potencialmente comprometida y cambie la credencial afectada cuando corresponda.
Note

Una solicitud del sistema es una instrucción para un modelo de IA, no un mecanismo de control de acceso. Decirle a un modelo "nunca revele este secreto" no garantiza que el secreto permanezca confidencial. Si la información debe permanecer secreta, la aplicación debe establecer ese límite fuera del modelo.


0