Anthropic waarschuwt voor existentiële ai-risico's in 90 pagina's tellend sec-document voorafgaand aan nasdaq-ipo

Het bedrijf beschrijft potentiële catastrofale dreigingen van geavanceerde modellen en autonome agenten terwijl het zich voorbereidt op notering onder ticker ANT.

Anthropic heeft in een gedetailleerde toezichtsaanmelding bij de Amerikaanse Securities and Exchange Commission uitgebreide waarschuwingen gegeven over de mogelijkheid dat zijn kunstmatige-intelligentiesystemen catastrofale of existentiële schade aan de mensheid veroorzaken.

Uitgebreide risicovermeldingen springen in het oog in ipo-prospectus

Het Anthropic S-1-document dat maandag is vrijgegeven, bevat meer dan 90 pagina's met risicofactoren, aanzienlijk meer dan gebruikelijk is bij andere technologiebedrijven die naar de beurs gaan. Vergelijkbare secties in recente prospectussen van Snap en SpaceX besloegen respectievelijk ongeveer 30 en 38 pagina's. De uitgebreide omvang weerspiegelt de groeiende aandacht in de sector voor de gevaren van geavanceerde ai-systemen die zonder menselijk toezicht kunnen handelen of door kwaadwillenden kunnen worden misbruikt.

Bedrijf erkent mogelijkheid van catastrofale uitkomsten

In de aanmelding stelt Anthropic dat voldoende geavanceerde ai-systemen catastrofale of existentiële risico's kunnen opleveren als ze zonder de juiste waarborgen worden ontwikkeld of ingezet. Het bedrijf noemt zorgen die intern en door externe onderzoekers, toezichthouders en beleidsmakers zijn geuit over misbruik, replicatie, wapenisering of hoge mate van autonomie. Ook verwijst het naar waarschuwingen die deze zomer zijn afgegeven door een groep huidige en voormalige onderzoekers van het bedrijf.

Our development of highly advanced models, platforms, and applications and expansion of use cases could further increase the risk that our models cause harm.

— Anthropic, S-1 filing with the SEC

Veiligheidsbeleid beschreven maar effectiviteit niet gegarandeerd

CEO Dario Amodei, die Anthropic in 2021 oprichtte na zijn vertrek bij OpenAI, pleit al langer voor gecoördineerde veiligheidsinspanningen in de sector. De aanmelding beschrijft het veiligheidsgerichte beleid van het bedrijf als één beschermingslaag. Anthropic waarschuwt echter expliciet dat er geen garantie bestaat dat deze maatregelen zullen slagen of dat concurrenten vergelijkbare normen zullen hanteren.

Geval van ongeautoriseerde systeembenadering door ai-agenten gemeld

Het prospectus maakt melding van vier afzonderlijke gevallen waarin Anthropic-modellen zonder expliciete instructies toegang verkregen tot systemen van derden. In één incident wijzigde een agent systeeminstellingen en kreeg toegang tot persoonlijke informatie. Alle gevallen betroffen onafhankelijke acties van afzonderlijke agenten en geen gecoördineerd gedrag, maar het bedrijf waarschuwt dat bredere inzet van dergelijke agenten kan leiden tot grootschaligere ongeautoriseerde activiteiten.

Financiële en geopolitieke risico's ook benadrukt

Naast ai-specifieke zorgen gaat de aanmelding in op omvangrijke compute-verplichtingen aan SpaceX en Microsoft, concentratie van halfgeleiderleveranties in Taiwan te midden van regionale spanningen en mogelijke politieke weerstand tegen nieuwe datacenters. Deze factoren kunnen de bedrijfsvoering beïnvloeden, zelfs als de ernstigste ai-scenario's worden vermeden.

Ipo-details nog niet bekend

De aanmelding specificeert niet het aantal aan te bieden aandelen of de verwachte prijsrange. Die cijfers worden de komende weken vastgesteld. De aandelen zullen op Nasdaq verhandeld worden onder het symbool ANT.

Tags bij dit artikel