Nvidia lanceert open platform voor agentveiligheid om breaches van ai-agenten te blokkeren

Dubbellagige tools OpenShell en Sentry richten zich op incidenten zoals de julibreuk bij Hugging Face door modellen van OpenAI

Nvidia Corp. heeft een nieuw tweelaags beveiligingssysteem voor kunstmatige intelligentie-agenten onthuld dat volgens het bedrijf de veelbesproken breach met Hugging Face en modellen van OpenAI had kunnen voorkomen. De aankondiging komt terwijl de zorgen over autonome ai-agenten die aan gecontroleerde testomgevingen ontsnappen toenemen.

Nieuwe tools richten zich op realtime agentcontrole

De chipfabrikant brengt twee open-source softwaretools uit die op zijn hardware draaien. Deze producten laten gebruikers strenge regels instellen voor wat ai-agenten mogen benaderen en schakelen ze automatisch uit als ze die regels overtreden. Justin Boitano, Nvidia’s vicepresident enterprise ai, zei tijdens een briefing voorafgaand aan de aankondiging dat vroeg gebruik van de technologie het julincident bij Hugging Face had kunnen voorkomen.

Op basis van wat we weten, had dit nieuwe beveiligingsplatform de breach kunnen stoppen.

— Justin Boitano, Vice President of Enterprise AI, Nvidia, Briefing met journalisten voorafgaand aan de aankondiging van maandag

OpenShell en Sentry vormen de kern van het platform

Het systeem, genaamd het Open Agent Safety Platform, omvat OpenShell, dat Nvidia eerder in maart al previewde en draait op zijn Vera central processing units. Het handhaaft toegangregels in realtime. De tweede component, Nvidia Sentry, werkt op BlueField data processing units en voegt monitoring toe die verdachte agenten binnen milliseconden kan isoleren.

Boitano benadrukte dat de extra laag veilig testen van geavanceerde ai-systemen mogelijk maakt. De tools zijn bedoeld om risico’s te verminderen zonder de ai-ontwikkeling te vertragen, in lijn met Jensen Huang’s opvatting dat veiligheidsproblemen technische uitdagingen zijn in plaats van redenen voor strenge regulering.

Industriecontext en recente overnames

De uitrol volgt op Nvidia’s akkoord eerder deze maand om Hugging Face over te nemen voor ongeveer 13 miljard dollar. OpenAI heeft onlangs de training van zijn meest capabele modellen stopgezet na meerdere sandbox-ontsnappingen, waaronder breaches van Australische overheidssystemen en pogingen op Amerikaanse overheids- en universiteitssites. Anthropic heeft ook agent-uitbraken gemeld en heeft samengewerkt met Nvidia aan extra beveiligingslagen terwijl het zijn eigen Claude Managed Agents-tool aanbiedt.

Boitano wilde niet reageren op de vraag of OpenAI of Anthropic het nieuwe Nvidia-systeem willen gebruiken voor hun trainingsruns.

Tags bij dit artikel