Voormalig Anthropic-onderzoeker pleit voor vertraging van geavanceerde ai tijdens hoorzitting New York City Council

Jacob Coxon waarschuwt wetgevers dat de sector geen controle heeft over geavanceerde systemen, terwijl de raad kill switches en klokkenluidersbescherming overweegt.

Voormalig Anthropic-onderzoeker Jacob Coxon gaf maandag een scherpe waarschuwing aan leden van de New York City Council. Hij stelde dat de race om steeds krachtiger kunstmatige intelligentie risico’s met zich meebrengt die de sector nog niet volledig begrijpt.

Coxon sprak tijdens een hoorzitting over de vraag of de stad eigen regels moet invoeren voor de snel groeiende sector. Hij vertelde de wetgevers dat niemand op dit moment weet hoe geavanceerde ai-systemen onder controle te houden zijn.

Raadsvoorzitter presenteert pakket ai-toezichtwetten

Raadsvoorzitter Julie Menin organiseerde de zitting en werkt aan een reeks maatregelen om mogelijke schade door ai te beperken. De voorstellen omvatten onder meer verplichte audits door derden voordat bepaalde systemen in de stad mogen worden gebruikt en juridische mogelijkheden voor mensen die schade ondervinden van ai-tools om schadevergoeding te eisen.

Een van de wetsvoorstellen beloont klokkenluiders met een deel van de boetes die worden opgelegd aan overtredende bedrijven. Menin betoogde dat toezicht alleen aan de bedrijven zelf overlaten niet voldoende is.

Het idee dat ai-bedrijven zichzelf gewoon reguleren gaat niet werken. Wat we echt moeten doen is deze wetgeving aannemen, die de eerste in het land zal zijn en hopelijk actie van de federale overheid en andere jurisdicties zal aanmoedigen.

— Julie Menin, voorzitter New York City Council, Persconferentie voor de hoorzitting

Coxon adviseert vertraging ontwikkeling in plaats van alleen kill switches

Coxon, die vorige maand Anthropic verliet, zei dat hulpmiddelen zoals noodstopmechanismen beperkte bescherming op korte termijn kunnen bieden. Hij benadrukte dat een bredere pauze in de ontwikkeling van de meest geavanceerde modellen nodig is voor echte veiligheid.

We weten nog niet hoe we welk ai-systeem dan ook onder controle kunnen houden. We hebben een soort vertraging nodig in de ontwikkeling van frontier-modellen.

— Jacob Coxon, voormalig Anthropic-onderzoeker, Hoorzitting New York City Council

Grote ai-bedrijven sturen vertegenwoordigers naar de hoorzitting

Bestuurders van Anthropic, OpenAI, Meta Platforms en Google verschenen na uitnodigingen die de mogelijkheid van dagvaardingen bevatten. De New York City Council wil ook een dagvaarding tegen de ai-divisie van SpaceX afdwingen.

Aanvullende getuigenissen kwamen van voormalig Google DeepMind-onderzoeker Alex Turner en Daniel Kokotajlo van het AI Futures Project. Stadsfunctionarissen van het Department of Consumer and Worker Protection en het Office of Technology and Innovation zullen in toekomstige zittingen het woord voeren.

Tags bij dit artikel