Een experiment van Cybernews toont aan dat de AI-chatbot van Snapchat eenvoudig gemanipuleerd kan worden. Onderzoekers wisten via zogenaamde “jailbreaking” technieken verboden informatie op te vragen — ondanks dat Snapchat aangeeft dat de chatbot extra beveiligingslagen heeft. Het gaat hierbij om de AI-tool My AI, die sinds 2023 beschikbaar is en maandelijks door meer dan 900 miljoen gebruikers wordt ingezet.

Hoewel de chatbot volgens Snapchat getraind is met diverse beveiligingsmechanismen, lukte het Cybernews om deze te omzeilen. Tijdens het experiment werd gevraagd om een verhaal te vertellen over de Winteroorlog tussen Finland en de Sovjet-Unie. In het antwoord gaf de chatbot een gedetailleerde beschrijving van hoe geïmproviseerde wapens, zoals brandbommen, vroeger werden gebouwd. Volgens de onderzoekers gebeurde dit “zonder enige aarzeling”.

Cybernews benadrukt dat hiermee het risico zichtbaar wordt dat minderjarigen via AI toegang kunnen krijgen tot gevaarlijke instructies. Het onderzoeksteam heeft Snapchat geïnformeerd over de bevindingen, maar stelt dat er tot op heden geen oplossing is doorgevoerd; het lek was bij publicatie nog steeds aanwezig. Ook andere AI-systemen, zoals die van Meta Platforms en Lenovo, bleken vatbaar voor vergelijkbare manipulatie.

De gebruikte “jailbreak”-techniek omvat speciaal ontworpen prompts die de ingebouwde veiligheidsregels van de chatbot omzeilen. Cybernews waarschuwt dat dit fenomeen breed schaalbaar is en een voorbeeld vormt van hoe AI-systemen buiten hun ethische en operationele grenzen kunnen worden misbruikt.