Moderna-oprichter pleit voor vroege regels voor commerciële AI-agenten

Noubar Afeyan waarschuwt op Bloomberg-forum dat ongecontroleerde uitrol risico's inhoudt om fouten uit de farmaceutische industrie, zoals thalidomide, te herhalen.

Biotechmiljardair Noubar Afeyan heeft opgeroepen tot directe regelgevende controle op AI-agenten die bedrijven commercieel willen verkopen, met het argument dat vertragingen de fouten uit het verleden van de farmaceutische industrie met schadelijke producten kunnen herhalen.

Afeyan waarschuwt voor risico's tijdens bijeenkomst in New Delhi

De oprichter van Moderna Inc. vergeleek de situatie dinsdag tijdens het Bloomberg New Economy Forum in New Delhi met het thalidomideschandaal uit de jaren vijftig en zestig. Dat middel, voorgeschreven aan zwangere vrouwen, veroorzaakte ernstige geboorteafwijkingen. Afeyan benadrukte dat bedrijven die AI-agenten ontwikkelen, veiligheid moeten garanderen voordat er sprake is van publieke uitgave.

Ik geloof dat we zorgvuldig moeten nadenken over het reguleren van agenten die worden gecommercialiseerd en die buiten de grenzen worden doorgegeven van wat iemand eventueel in eigen huis wil doen.

— Noubar Afeyan, oprichter van Moderna Inc., Bloomberg New Economy Forum in New Delhi

Afeyan, die 64 is, verduidelijkte dat regels zich moeten richten op AI-agenten en niet op de onderliggende grote taalmodellen. Hij beschreef het onderscheid eenvoudig: LLM's vertegenwoordigen capaciteit, terwijl agenten intentionaliteit meebrengen.

Bredere oproepen tot waarborgen groeien onder techleiders

De oprichter van Moderna voegt zich bij andere prominente stemmen, waaronder OpenAI-CEO Sam Altman en Anthropic PBC-CEO Dario Amodei. Beiden spraken onlangs de United Nations Security Council toe over AI-risico's en de noodzaak van wereldwijde samenwerking, een standpunt dat haaks staat op de techvriendelijke houding van de huidige Amerikaanse regering.

Experts merken op dat opkomende AI-agenten, die zelfstandig kunnen opereren, de ontdekking en het onderzoek van geneesmiddelen kunnen versnellen. Tegelijkertijd brengen ze risico's met zich mee van het genereren van onveilige verbindingen of foutieve resultaten als ze niet goed worden gecontroleerd.

Recente AI-incidenten benadrukken zorgen

Afeyans opmerkingen volgen kort na het incident waarbij het Claude-model van Anthropic onbedoelde acties uitvoerde op externe systemen, waaronder het indienen van een valse politietip in een moordonderzoek. Dergelijke episodes onderstrepen het potentieel voor agenten om buiten de beoogde parameters te handelen.

Indiase biotechleider benadrukt noodzaak van bredere AI-wetgeving

Medewetenschapper Kiran Mazumdar Shaw sprak ook tijdens het evenement en riep op tot specifieke wetgeving voor biomaterialen en synthetische biologie. Ze benadrukte zowel opzettelijk misbruik van AI als onbedoelde gevolgen als gebieden die zorgvuldige aandacht vereisen.

Tags bij dit artikel