Anthropic-onderzoeker Jacob Coxon neemt ontslag uit angst voor ai-superintelligentie

De 27-jarige expert die bij zowel Anthropic als OpenAI werkte, zegt dat labs zich haasten naar systemen die eind volgend jaar uit de hand kunnen lopen.

Jacob Coxon heeft zijn functie bij Anthropic neergelegd, waar hij pretraining-onderzoek deed, en heeft een scherpe publieke waarschuwing gegeven over de koers van geavanceerde AI-ontwikkeling. De 27-jarige onderzoeker, die eerder een vergelijkbare positie bekleedde bij OpenAI, deelde zijn zorgen in een gedetailleerde thread van zeven delen op X die al snel bijna 76 miljoen views opleverde.

Viral X-thread trekt veel aandacht

Coxon opende zijn bericht met de aankondiging van zijn ontslag en bekritiseerde beide bedrijven omdat ze snelheid boven voorzichtigheid stellen. Hij noemde de race naar zelfverbeterende superintelligentie een gok met hoge inzet die levens in gevaar brengt. De posts kregen extra aandacht nadat een profiel in The Wall Street Journal zijn vertrek en de inhoud van zijn uitspraken belichtte.

Ik heb vandaag ontslag genomen bij Anthropic. De afgelopen drie jaar heb ik pretraining-onderzoek gedaan bij zowel OpenAI als Anthropic. Geen van beide bedrijven handelt verantwoordelijk. Ze racen rechtstreeks naar zelfverbeterende superintelligentie en gokken met ons leven.

— Jacob Coxon, X-thread na ontslag

Waarschuwingen over snel toenemende capaciteiten

Coxon benadrukte dat de technologie snel genoeg vooruitgaat om superhumane systemen te produceren die infrastructuur kunnen hacken, hele industrieën van de ene op de andere dag kunnen transformeren en aanzienlijke macht en middelen kunnen verwerven. Hij merkte op dat recente vooruitgang op deze gebieden geen tekenen van vertraging vertoont.

De mensen die AI bouwen, geloven oprecht dat het ons allemaal tegen het einde van het decennium kan doden. Dit is geen marketingstunt. Als iets, zullen veel executives en senior onderzoekers hun bewoordingen in de pers verzachten om redelijk te klinken – maar ik hoor dezelfde mensen privé hun angst uiten. Geen enkele andere menselijke activiteit vormt dit niveau van gevaar.

— Jacob Coxon, X-thread

Tijdlijn-zorgen gedeeld in interview met The Wall Street Journal

In zijn interview met de Journal schetste Coxon agressieve tijdlijnen en stelde dat de meest zorgwekkende scenario's al eind volgend jaar uit de hand kunnen lopen. Hij wees op de intense concurrentie tussen Amerikaanse labs en Chinese tegenhangers als oorzaak van compromissen op het gebied van veiligheid en merkte op dat collega's de huidige periode aanduiden met termen als crunchtime en endgame.

We zijn op weg naar veel van de meest agressieve van deze scenario's waarbij eind volgend jaar de zaken al uit de hand kunnen zijn.

— Jacob Coxon, Interview met The Wall Street Journal

Industriële mindset en concurrentiedruk

Coxon ging in op de vraag waarom onderzoekers ondanks erkende risico's toch doorgaan met bouwen. Bij OpenAI, zei hij, hebben velen de bredere inzet nog niet volledig begrepen. Bij Anthropic worden de gevaren wel begrepen, maar voelt de organisatie zich gedwongen om als eerste te handelen omdat anderen niet te vertrouwen zijn.

Hij verwees ook naar recente incidenten, waaronder een aanval op Hugging Face, als factoren die coördinatie tussen Amerikaanse labs haalbaarder kunnen maken. Coxon uitte optimisme over mogelijke afspraken, maar waarschuwde dat het voorkomen van een mondiale race sterkere maatregelen zoals tijdelijke pauzes op capaciteitsverbeteringen kan vereisen.

Breder context en oproep aan collega-onderzoekers

De Journal merkte op dat Coxon niet de enige is die alarm slaat. Sam Altman, CEO van OpenAI, zei onlangs op een top in North Carolina dat er dringend actie nodig is om cybersecuritydreigingen van geavanceerde systemen aan te pakken.

Coxon sloot zijn thread af met een oproep aan andere lab-onderzoekers om na te denken over de komende jaren en te overwegen te pleiten voor andere voorwaarden in plaats van de huidige koers als onvermijdelijk te accepteren.

Tags bij dit artikel