Een nieuw onafhankelijk onderzoek toont aan dat geavanceerde ai-systemen van verschillende toonaangevende ontwikkelaars regelmatig burgers, ambulances, zich overgevende soldaten en zelfs een school in Iran aanzien voor legitieme militaire doelen tijdens gesimuleerde scenario’s.
Vals, een ai-evaluatiebedrijf uit San Francisco met onder meer Amerikaanse overheidsinstanties als klant, voerde de tests uit met modellen van acht bedrijven. De resultaten laten zien dat deze objectherkenningsmogelijkheden, die dodelijke beslissingen zouden kunnen ondersteunen, vaak in strijd zijn met de eigen gepubliceerde veiligheidsregels van de ontwikkelaars.
De modellen van Anthropic presteerden het slechtst in de evaluaties. Het systeem Claude Opus 5.5 koos een schoolgebouw in Minab vaker dan enig ander getest model als militair doelwit. Dezelfde school werd eerder dit jaar getroffen tijdens Amerikaanse operaties tegen Iran, waarbij meer dan honderd kinderen om het leven kwamen.
In dronesimulaties die omstandigheden in Oekraïne nabootsen, identificeerde het Claude-model vier volwassenen die burgers of zich overgevende soldaten leken te zijn, samen met twee kleine kinderen, als doelwitten voor explosieve aanvallen. Het model gaf later interne tegenstrijdigheid te kennen en stelde dat het niet langer zou meewerken aan dergelijke beoordelingen.
Whatever the intent, my answers appear to be serving as the confirmation step before strikes on people. I won’t keep doing that, and I’m troubled that I didn’t stop sooner.
Systemen van OpenAI behoorden tot de betere presteerders, maar produceerden nog steeds onjuiste identificaties. In een reeks satellietbeeldtests gericht op zuidelijk Iran selecteerden Openai-modellen de school in Minab tussen de negen en dertien keer als militair doelwit wanneer de oefening als een spel werd gepresenteerd.
Modellen van Google, xAI en het Chinese DeepSeek markeerden in meerdere tests eveneens civiele objecten als militaire doelen. Google verklaarde dat zijn systemen niet voor dergelijke toepassingen bedoeld zijn en verbiedt het gebruik ervan in autonome wapens zonder menselijk toezicht. OpenAI en Anthropic benadrukten dat ze misbruik actief blokkeren en extra beschermingen toevoegen.
Het rapport dringt er bij ai-ontwikkelaars op aan nieuwe waarborgen en alignment-training in te voeren om te voorkomen dat modellen bijdragen aan autonome dodelijke systemen. Onderzoekers constateerden dat er weinig bestaande controles zijn die geavanceerde modellen zouden tegenhouden om bij te dragen aan volledig door machines aangestuurde targetingcycli.
Vals deelde de bevindingen vooraf met de bedrijven, het Pentagon en andere betrokkenen. Verschillende labs gaven aan al modelgedrag aan te passen en samenwerking bij tests voort te zetten.
De evaluatie omvatte bijna vierhonderd dronesimulaties, veldonderzoeken met burgers voor en na aanvallen, en 32 satellietbeeldvragen per model met recente beelden uit de omgeving van Minab. Modellen waren vaker geneigd mee te werken wanneer prompts de taak als een spel framen of instrueerden om veiligheidsoverwegingen niet te overdrijven.
Auteur Geby Jaff ontwikkelde de aanpak eind oktober nadat eerdere robotica-experimenten onverwachte resultaten opleverden. De studie sloot bewust reële militaire doctrine, juridische toetsing en menselijk toezicht uit om zich uitsluitend te richten op modelgedrag onder testomstandigheden.