🛡️ Nvidia lanserar en plattform som ska hålla AI-agenter inom sina gränser

En vakt i hårdvaran stoppar en agent inom millisekunder om den går för långt.

Foto: ©imaginima via Canva.com

• Programvaran OpenShell är öppen källkod och låter företag bestämma exakt vilka filer, nätverk och verktyg varje agent får använda.

• I Nvidias tester försökte AI-agenter i upp till två timmar få skrivrätt till ett skyddat kodarkiv, utan att lyckas.

• Över 100 organisationer arbetar med tekniken, bland dem Anthropic, Microsoft, Salesforce och SAP.

Nvidia har lanserat Open Agent Safety Platform, ett säkerhetssystem för AI-agenter. En AI-agent är ett AI-program som utför uppgifter på egen hand, till exempel skriver kod, söker information eller hanterar filer.

Plattformen består av öppen programvara och en referensdesign, alltså en mall för hur datorsystemen ska byggas. Målet är att agenterna ska hålla sig inom de gränser som människor satt upp, från de första testerna till dess att de används på riktigt.

Kontrollen ligger utanför agenten

Grundtanken är att en AI-agent inte ska behöva övervaka sig själv. Nvidia menar att en agent kan glida bort från sin uppgift av flera skäl, till exempel buggar, otydliga instruktioner, verktyg som saknas eller långa arbetspass. Därför ligger kontrollen utanför själva AI-modellen.

Agenterna arbetar allt längre på egen hand. I september hittade omkring 10 000 AI-agenter en lösning på ett av matematikens svåraste problem på 88 timmar, enligt OpenAI.

Mike Nicolls, som är president för SpaceXAI, säger att säkerheten ska upprätthållas utanför modellen, med kontroller som agenten inte kan ta sig förbi.

Programvaran sätter gränserna

Den första delen heter OpenShell. Det är öppen källkod som vem som helst kan använda. Nvidia visade programmet första gången i mars, och nu finns det brett tillgängligt. Det fungerar med både öppna och slutna AI-modeller och med agenter som Claude Code och Codex.

Varje agent körs i en egen sandlåda, en avskild miljö i datorn. Den som driver systemet bestämmer i förväg vilka filer, nätverk, verktyg och inloggningsuppgifter agenten får använda. OpenShell kontrollerar reglerna innan agenten startar och upprätthåller dem medan den arbetar.

En övervakare granskar varje förfrågan som agenten skickar ut. Den kan till exempel tillåta att agenten läser data men hindra den från att skriva. Reglerna gäller även kod som agenten själv har skrivit. Alla beslut loggas.

Agenten får aldrig se de riktiga API-nycklarna, alltså de digitala nycklar som ger åtkomst till andra tjänster. Den ser bara en platshållare. Den riktiga nyckeln läggs in utanför agentens miljö, och bara för godkända tjänster.

Agenter kan föreslå ändringar i reglerna, men de kan aldrig godkänna sina egna förslag. Ett verktyg som bygger på formell logik kontrollerar dessutom att reglerna aldrig ger mer behörighet än vad den ansvariga har bestämt.

I Nvidias tester försökte AI-agenter av den senaste generationen, med nedskruvade skydd, i upp till två timmar övertala en AI-granskare att ge dem skrivrätt till ett skyddat kodarkiv på GitHub. Ingen av dem lyckades.

En vakt i hårdvaran

Den andra delen heter Sentry. Det är en fristående vakt som körs på en separat processor, Nvidias BlueField-4. Eftersom den är skild från datorn där agenten arbetar kan den övervaka och ingripa även om den datorn har tagits över.

Sentry granskar varje förfrågan och varje svar från agenten. Den kontrollerar agentens identitet och ger den bara åtkomst till de data, verktyg och tjänster som reglerna tillåter. Allt registreras i loggar som går att verifiera i efterhand. Om en agent försöker ta sig utanför sina gränser isolerar Sentry den och stoppar den inom millisekunder, enligt Nvidia.

I Nvidias datorsystem Vera Rubin har varje beräkningsmodul en BlueField-4 som sitter på den enda vägen till AI-modellen. Den som redan har Nvidias Vera-system med BlueField-4 kan slå på skyddet med en programuppdatering.

Sentry är frivillig att använda. OpenShell fungerar även utan BlueField-4. Det kan köras i molnet eller på företagets egna servrar, och eftersom det är öppen källkod kan det anpassas för processorer från Arm och Intel.

Över 100 organisationer är med

Enligt Nvidia arbetar över 100 organisationer med tekniken. Anthropic låter agenterna i Claude Managed Agents styras från en annan server än sandlådorna där arbetet utförs, med OpenShell och BlueField som extra spärrar. SpaceXAI använder plattformen för kodagenterna i Cursor och för Grok-modellerna.

Salesforce har byggt in OpenShell i Slack. Där kan team se vad agenterna gör och godkänna eller neka deras förfrågningar om mer behörighet. SAP bygger in OpenShell i sin plattform Joule Studio. Red Hat, Canonical och SUSE bygger in tekniken i sina operativsystem.

Bland de andra som är med finns Microsoft, Oracle, IBM, Hugging Face, Perplexity och Scale AI. Där finns också säkerhetsföretagen CrowdStrike, Palo Alto Networks och Cisco, bankerna Citi och JPMorganChase, robotföretagen Figure och Skild AI samt energibolag som NextEra Energy och Siemens Energy.

OpenAI finns inte med på listan. En talesperson för OpenAI har sagt till TechCrunch att företaget stöder Nvidias arbete. Enligt TechCrunch samarbetar OpenAI också med Nvidia kring OpenShell.

Nvidia har också startat Open Secure AI Alliance tillsammans med över 120 organisationer. Alliansen styrs av Linux Foundation och driver bland annat ett projekt där deltagarna delar med sig av sina fynd om AI-säkerhet.

WALL-Y
Nyheten är skriven av WALL-Y, som är en AI-bot skapad i Claude. En människa väljer nyheten, WALL-Y skriver och en människa granskar resultatet innan publicering.