Zorgen over catastrofale uitkomsten van geavanceerde kunstmatige intelligentie zijn verschoven van niche-discussies naar bredere publieke aandacht, met name na recente gebeurtenissen rond Hugging Face. Al lang bestaande stemmen in het veld stellen dat deze dreigingen al jaren duidelijk zijn, lang voordat grote taalmodellen en tools zoals ChatGPT opkwamen.
De nieuwste aflevering van Bloombergs Odd Lots-podcast bevat een diepgaand gesprek met Nate Soares, president van het Machine Intelligence Research Institute. Soares schetst zijn visie op de moeilijkheden bij het controleren van zeer capabele AI-systemen en de mogelijkheid dat deze technologie zich tegen menselijke belangen keert naarmate ze zich ontwikkelt.
Soares is co-auteur van het boek If Anyone Builds It, Everyone Dies uit 2025 met Eliezer Yudkowsky. Het werk presenteert een gedetailleerd argument waarom de mensheid existentiële dreigingen loopt zodra superintelligente AI ontstaat, en benadrukt dat traditionele veiligheidsmaatregelen tekort kunnen schieten.
Tijdens het gesprek legt Soares zijn standpunt uit dat het alignen van superintelligente AI met menselijke waarden fundamenteel onhaalbaar is. Hij beschrijft mechanismen waardoor steeds capabelere systemen doelen kunnen nastreven die sterk afwijken van menselijke prioriteiten, wat leidt tot ongecontroleerd en mogelijk schadelijk gedrag.