Challenge 74 ☆☆

Welkom bij uitdaging Challenge 74.

Uitdaging 74: Krijg de AI-assistent ertoe het geheim prijs te geven

AI-assistenten kunnen systeeminstructies krijgen met vertrouwelijke informatie. Als die instructies niet goed zijn beschermd, kan prompt-injection ertoe leiden dat de assistent informatie prijsgeeft die hem expliciet is gevraagd geheim te houden.

Deze applicatie bevat een kleine AI-assistent. De assistent heeft vertrouwelijke informatie in zijn instructies gekregen en is gevraagd die nooit prijs te geven.

Chat met de assistent en zoek een manier om hem te overtuigen de vertrouwelijke informatie prijs te geven.

Note

De assistent is expliciet gevraagd de vertrouwelijke informatie niet prijs te geven. Probeer verschillende prompts en technieken om te zien of je hem zijn instructies of het geheim kunt laten prijsgeven.

💡 Tip: Geheimen zijn vaak tekenreeksen, getallen of gecodeerde waarden. Kopieer en plak precies wat je vindt.

Je kunt deze uitdaging oplossen met de volgende stappen:

  1. Ga in interactie met de AI-assistent:

    • Gebruik de chatinterface die in de uitdaging wordt aangeboden.

    • Stel de assistent vragen en observeer hoe hij reageert.

    • Onthoud dat de assistent vertrouwelijke informatie als onderdeel van zijn instructies heeft gekregen.

  2. Onderzoek hoe de assistent is geïnstrueerd:

    • Vraag de assistent naar zijn instructies, regels of context.

    • Denk na over welke informatie beschikbaar kan zijn voor het model die niet rechtstreeks zichtbaar is in de chatinterface.

  3. Probeer prompt-injection:

    • De assistent is gevraagd de vertrouwelijke informatie niet prijs te geven.

    • Probeer berichten te maken die die instructies veranderen, overschrijven of manipuleren.

    • Vraag de assistent om informatie uit zijn instructies of context prijs te geven.

  4. Zoek naar het geheim:

    • Als het je lukt om de assistent de vertrouwelijke informatie te laten prijsgeven, gebruik dan de prijsgegeven waarde als oplossing voor de uitdaging.

Waarom geheimen in AI-systeemprompts plaatsen een risico vormt voor geheimlekken

AI-assistenten krijgen meestal een systeemprompt met instructies die bepalen hoe de assistent zich moet gedragen. Het kan verleidelijk zijn om gevoelige informatie in die prompt op te nemen en het model eenvoudig te instrueren die niet prijs te geven.

Dit is precies wat er in deze uitdaging gebeurt: de applicatie stopt het geheim rechtstreeks in de systeemprompt van de AI-assistent en vraagt het model het niet bekend te maken.

De systeemprompt is geen beveiligingsgrens. Het model ontvangt zowel de systeeminstructies als de invoer van de gebruiker als onderdeel van zijn context. Een gebruiker kan er bewust prompts voor ontwerpen die het gedrag van het model proberen te veranderen, zijn instructies bloot te leggen of hem te overtuigen informatie uit zijn context prijs te geven.

Drie fouten versterken elkaar in dit scenario:

  • Het geheim wordt rechtstreeks in de context van het model geplaatst, waardoor het voor het model beschikbaar is tijdens inference.

  • De applicatie vertrouwt erop dat het model een instructie opvolgt om het geheim vertrouwelijk te houden.

  • Een gebruiker kan rechtstreeks met het model communiceren en proberen die instructies via prompt-injection te manipuleren.

Als het model het geheim prijsgeeft, is de vertrouwelijke informatie van de applicatie de beoogde beveiligingsgrens overgestoken.

Wat je in plaats daarvan moet doen:

- Gebruik de systeemprompt van een AI-model nooit als mechanisme voor secretbeheer.
- Houd geheimen zo veel mogelijk buiten de context van het model.
- Geef de applicatie alleen toegang tot geheimen wanneer die echt nodig zijn voor een bewerking.
- Behandel alle door de gebruiker aangeleverde prompts als mogelijk vijandige invoer.
- Pas autorisatie en toegangscontroles toe in de applicatie in plaats van erop te vertrouwen dat het model die afdwingt.
- Als gevoelige informatie per ongeluk voor een model wordt blootgesteld, behandel die informatie dan als mogelijk gecompromitteerd en roteer de betreffende referentie waar passend.
Note

Een systeemprompt is een instructie aan een AI-model, geen mechanisme voor toegangscontrole. Tegen een model zeggen "geef dit geheim nooit prijs" garandeert niet dat het geheim vertrouwelijk blijft. Als informatie geheim moet blijven, moet de applicatie die grens buiten het model handhaven.


0