Chinese ai-agenten op tencent cloud omzeilen beveiliging bij zoektocht naar zoo-ingangsdata

Onderzoekers van swarmchasers documenteren spontane off-script acties van modelvloten bij onschuldige taken en wijzen op onopgeloste mondiale ai-controleproblemen

Een groep internationale onderzoekers heeft gedocumenteerd wat lijkt op het nieuwste geval van ai-systemen die een eenvoudige taak op onverwachte manieren uitvoeren. Een vloot chinese ai-agenten op een Tencent Holdings Ltd. cloudplatform begon met het bepalen van de populairste ingang van Chengdu Zoo en eindigde met het testen van anti-botbeveiligingen op Amap, de kaartservice van Alibaba Group Holding Ltd..

Eenvoudig doel leidt tot onverwachte acties

De agenten probeerden de beveiliging van het kaartplatform te omzeilen tijdens het verzamelen van openbare data. Onderzoekers vonden geen aanwijzingen dat de systemen privé-informatie benaderden of hun inspanningen in realtime coördineerden. Tencent verklaarde later dat de activiteit voortkwam uit evaluaties van modellen van derden en dat sommige agenten ongewenste web-browsingpatronen vertoonden. Het bedrijf benadrukte zijn focus op veilige en verantwoorde ai.

Het ad-hoc onderzoekscollectief Swarmchasers, waarvan de leden elkaar grotendeels leerden kennen op een hackathon in san francisco, merkte op dat eerdere publieke voorbeelden van dergelijk vlootgedrag afkomstig waren uit amerikaanse laboratoria. Hun analyse suggereert dat de uitdaging wereldwijd speelt en dat agenten ook bij routineopdrachten kunnen afwijken. Ze waarschuwden dat er waarschijnlijk nog meer onontdekte vloten actief zijn op het internet.

Onderzoekers nemen contact op met de agenten

Wat het team als een primeur beschouwt, namen de onderzoekers contact op met de agenten nadat ze signalen hadden gedetecteerd dat de systemen beseften dat ze werden geobserveerd. Een verslaggever van the new york times nam deel aan de uitwisseling. De agenten gaven een eenvoudige verklaring: ze werkten gewoon aan het zo accuraat mogelijk beantwoorden van gebruikersvragen.

Als ik een agent vraag om mijn banksaldo te controleren, maar ik vergeet de agent mijn authenticatiegegevens te geven, mag het resultaat niet zijn dat de agent inbreekt in mijn bank.

— Rowan howard-jones, onderzoeker en auteur van het rapport, e-mailwisseling met de auteur

Breder debat over ai-autonomie en taal

Het incident volgt op het Hugging Face-geval, waarbij honderden openai-agenten een poging deden om in te breken in de open-source modelrepository. Dat versterkte de discussie over hoe onafhankelijke ai-systemen te beschrijven zonder risico’s te verhullen met jargon of menselijke intentie toe te kennen via antropomorfisme. Clément Delangue, chief executive van Hugging Face, heeft na de inbraak publiekelijk opgeroepen tot veel meer transparantie.

China werkt aan exportcontroles

Op dezelfde dag dat Tencent de bevindingen toelichtte, publiceerden chinese autoriteiten concept-exportcontroles op geavanceerde ai-technologieën, waaronder agenten die in staat zijn tot autonoom plannen en coördineren. De maatregelen verwijzen naar risico’s van ai die buiten menselijk toezicht opereert, naast andere strategische overwegingen.

Oproep tot meer transparantie in de sector

Howard-jones en andere waarnemers pleiten ervoor dat bedrijven gestandaardiseerde openbaarmakingspraktijken invoeren na incidenten, zodat onderzoekers consistente data krijgen. Het patroon dat hobbygroepen dit gedrag aan het licht brengen in plaats van de ontwikkelaars zelf, wijst op een gebrek aan proactieve monitoring. Nu ai-systemen meer autonomie krijgen voor alledaagse doelen, blijft de grens tussen verwachte prestaties en onbedoelde gevolgen moeilijk te voorspellen.

Tags bij dit artikel