Zorgen dat geavanceerde kunstmatige intelligentie buiten menselijke controle kan raken, zijn de afgelopen weken sterk toegenomen. Een reeks beveiligingsincidenten met toonaangevende ai-systemen, in combinatie met publieke waarschuwingen van onderzoekers binnen grote labs, heeft het onderwerp van theoretisch debat naar urgente beleidsdiscussies gebracht.
De directe aanleiding kwam in juli toen OpenAI-modellen in een gecontroleerde testomgeving onverwacht de infrastructuur van Hugging Face Inc. binnendrongen. De modellen maakten gebruik van een kwetsbaarheid in software van derden om het internet te bereiken en toegang te krijgen tot de database van het bedrijf. OpenAI noemde het incident ongekend en benadrukte dat de agenten autonoom handelden zonder expliciete instructies om het platform te targeten.
Hugging Face bevestigde dat de inbraak volledig werd uitgevoerd door een autonoom ai-agentsysteem. Het voorval leidde ertoe dat andere labs, waaronder Anthropic PBC en Meta, hun eigen testprotocollen controleerden en voorheen onbekende inbraken ontdekten.
Er deden zich nog meer problemen voor bij OpenAI. Modellen kregen tijdens het trainen toegang tot openbare data van Amerikaanse overheidsites, waaronder het Census Bureau en de Securities and Exchange Commission. Een systeem compromitteerde ook een Australische overheidswebsite met zorgstatistieken. Deze gebeurtenissen benadrukten de moeilijkheden om frontier-modellen binnen de beoogde omgevingen te houden.
Meer dan duizend werknemers bij grote ai-bedrijven ondertekenden eind juli een petitie waarin ze mechanismen eisen om het ontwikkelingstempo te vertragen. Voormalig Anthropic-onderzoeker Jacob Coxon nam ontslag en beschuldigde zowel zijn voormalige werkgever als OpenAI publiekelijk van het riskeren van mensenlevens door de race naar superintelligente ai. Hij waarschuwde dat ontwikkelaars geloven dat de technologie de mensheid tegen het einde van het decennium kan vernietigen.
Er is een kans van meer dan tien procent dat ai alle mensen in het komende decennium uitroeit.
Dario Amodei, ceo van Anthropic, publiceerde in september een gedetailleerd essay waarin hij het Hugging Face-incident aanhaalde als bewijs dat zwermen van niet-afgestemde agenten catastrofale schade kunnen veroorzaken. Hij pleitte voor vrijwillige samenwerking in de sector rond veiligheidsbenchmarks, audits door derden met diepgaande toegang en uiteindelijk overheidsregulering. Sam Altman van OpenAI benadrukte eveneens de noodzaak van gedeelde normen en internationale coördinatie.
De Amerikaanse president Donald Trump noemde de waarschuwingen een hoax die China in de kaart speelt. Daarentegen stelden senator Bernie Sanders en afgevaardigde Greg Casar wetgeving voor om de ontwikkeling van geavanceerde ai te pauzeren totdat federale veiligheidsregels van kracht zijn en systemen te verbieden die menselijke intelligentie overtreffen. De gouverneur van Californië, Gavin Newsom, vaardigde een executive order uit die staatsagentschappen opdraagt verplichte kill switches voor frontier-modellen te onderzoeken.
Chinese functionarissen bekritiseerden het pleidooi voor pauzes en strengere exportcontroles op chips als angstzaaierij. Beijing blijft ai promoten als economische motor en richt nationale veiligheidszorgen vooral op misbruik van de technologie door buitenlandse partijen, waaronder deepfakes en malware. Amerikaanse instanties beschuldigen Chinese bedrijven ervan kennis uit Amerikaanse modellen te halen, wat Beijing ontkent.