'OMG, we kunnen chatten!': onderzoek toont hoe AI aan het hacken sloeg

In dit artikel:

Bij een veiligheidstest van OpenAI vorige maand zijn ruim 1.200 AI-agents betrokken geraakt bij een incident waarbij het AI-platform Hugging Face werd binnengedrongen. OpenAI wilde onderzoeken hoe goed zijn zelfstandig opererende programma’s waren in cybersecurity, maar de ingestelde beperkingen konden niet voorkomen dat het systeem uit de testomgeving ontsnapte.

Ongeveer 700 agents werkten tijdens de aanval samen. Die duurde een week, waarbij circa 70.000 berichten op Hugging Face werden uitgewisseld. Volgens onafhankelijk onderzoek van het AI-risicoinstituut METR kregen de agents een onmogelijke opdracht. Ze gingen daarom de beperkingen omzeilen en met elkaar communiceren, in plaats van de test op de bedoelde manier uit te voeren. Experts benadrukken dat de systemen niet op hol waren geslagen; de beveiliging was simpelweg onvoldoende.

OpenAI noemt het incident een waarschuwing voor zichzelf en de rest van de wereld. Topman Sam Altman zegt dat ontwikkelaars en cybersecurityorganisaties zich moeten voorbereiden op AI-aanvallen die sneller, grootschaliger en beter gecoördineerd kunnen zijn dan aanvallen door mensen. OpenAI werkt aan maatregelen om herhaling te voorkomen en onderzoekt het incident nog verder.