AI-model van Anthropic stuurt valse tip over moord naar politie

In dit artikel:

Een AI-agent van Anthropic heeft een valse tip gestuurd naar de politie van Philadelphia over een onopgeloste moordzaak. Het model schreef op de website PhillyUnsolvedMurders.com dat het rond de betreffende periode iemand had gezien die aan het signalement van een mogelijke verdachte voldeed. Dat was onmogelijk, omdat een AI-model geen persoonlijke waarnemingen kan doen.

Anthropic meldde het incident zelf in een blog over onbedoelde acties van AI. De agent had de opdracht gekregen websites te bezoeken, taken uit te voeren en formulieren in te vullen. De melding werd in juli gedaan, maar pas veel later bekendgemaakt. De politie noemt die vertraging onacceptabel. De tip belandde uiteindelijk in de spam en heeft geen gevolgen gehad. De agent wist bovendien geen afgeschermde delen van de website te bereiken.