Anthropic-medewerkers waarschuwen dat ai de mensheid tegen 2030 kan uitroeien

Voormalig onderzoeker Jacob Coxon stapt op vanwege existentiële risico's terwijl insiders bij het bedrijf hun angsten uiten over ongecontroleerde modelontwikkeling

Huidige en voormalige onderzoekers bij Anthropic hebben publiekelijk ernstige zorgen geuit dat de kunstmatige-intelligentiesystemen die in ontwikkeling zijn, tegen het einde van het decennium een existentieel gevaar voor de mensheid kunnen vormen.

Ontslag benadrukt interne twijfels bij Anthropic

Jacob Coxon, die onlangs zijn functie als ai-onderzoeker bij het bedrijf heeft neergelegd, verklaarde op X dat hij opstapte omdat Anthropic en zijn vorige werkgever OpenAI gevaarlijke risico's nemen met geavanceerde technologie. Hij beschreef de situatie als een gok met mensenlevens.

The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible – but I hear the same people express fear privately. No other human activity poses this level of danger.

— Jacob Coxon, voormalig ai-onderzoeker bij Anthropic, Post op X

Collega's bevestigen zorgen over uitstervingsniveau

Twee huidige leiders van Anthropic reageerden op de uitspraken van Coxon en steunden zijn beoordeling grotendeels. Evan Hubinger, die de alignment-inspanningen van het bedrijf leidt, schreef dat het bedrijf oprecht gelooft dat ai alle mensen kan uitroeien en de kans daarop boven de tien procent plaatst binnen het komende decennium.

Hubinger voegde eraan toe dat Anthropic sterke inspanningen levert, maar nog geen duidelijke oplossing heeft voor het alignen van superintelligente systemen en niet duidelijk op weg is om dat te bereiken.

I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.

— Evan Hubinger, alignment scene lead bij Anthropic, Post op X

Samuel Marks, die toezicht houdt op scalable oversight-onderzoek bij het bedrijf, plaatste in persoonlijke hoedanigheid dat financiële druk en angst voor rivaliserende ontwikkelaars teams ertoe aanzetten door te bouwen ondanks de risico's op uitsterven. Hij merkte op dat veel medewerkers willen pauzeren om veiligheidsmaatregelen te verbeteren.

Industriewijde verschuiving naar voorzichtigheid

De opmerkingen weerspiegelen een bredere verandering in toon bij toonaangevende ai-bedrijven. Anthropic pleit sinds juni voor langzamere ontwikkeling. OpenAI introduceerde onlangs GPT-6 Astra en koppelde de lancering aan publieke waarschuwingen van executives en onderzoekers over de noodzaak van sterkere veiligheidsprotocollen voordat verdere stappen worden gezet.

Jakub Pachocki, chief scientist van OpenAI, schreef in een blogpost dat niemand klaar is voor de gevolgen van aanhoudende snelle vooruitgang in machine-intelligentie. De post werd later gedeeld door CEO Sam Altman.

Administratie verzet zich tegen oproepen tot vertraging

Niet iedereen steunt het pauzeren van de vooruitgang. De Trump-administratie heeft gewaarschuwd dat bewuste vertragingen China een voordeel kunnen opleveren in de mondiale ai-wedstrijd.

There is no day after tomorrow if China wins at this. Like everything, a trillion-and-a-half-dollar defense budget, the Iron Dome. If they were to pull ahead of us on AI, then nothing else matters.

— Scott Bessent, Amerikaans minister van Financiën, Interview met Breitbart

Tags bij dit artikel