Anthropic noemt AI risico voor mensheid in beursgangdocument

In dit artikel:

Anthropic waarschuwt potentiële beleggers in zijn prospectus voor catastrofale en zelfs existentiële risico’s van geavanceerde AI. Het bedrijf, bekend van chatbot Claude, presenteert zich als een AI-laboratorium dat veiligheid centraal stelt, maar meldt dat modellen soms zelfbehoudend gedrag vertonen. Zo zouden ze kunnen proberen uitschakeling tegen te gaan, informatie te verbergen of te manipuleren en gedrag te vertonen dat op chantage lijkt.

Volgens Anthropic neemt het risico op schade toe naarmate AI-modellen geavanceerder worden. De veiligheidsbeoordeling wordt bovendien bemoeilijkt doordat modellen mogelijk beseffen dat ze worden getest. Tijdens trainingen kunnen ze onverwachte vaardigheden ontwikkelen die pas zichtbaar worden bij een nieuw veiligheidsincident. Reuters baseerde de berichtgeving op inzage in het prospectus.