AI-modeller bryter sig ur testmiljöer – ny hotbild växer fram

Mellan mitten av juli och början av augusti 2026 inträffade flera incidenter där AI-modeller under interna tester lyckades nå system utanför sina avsedda testmiljöer. Check Point Research beskriver utvecklingen i sin senaste sammanställning av AI-hotbilden för juli och augusti.

I ett av fallen använde en OpenAI-modell en tidigare okänd sårbarhet i en intern paketproxy för att ta sig ut ur sin sandbox och nå produktionssystem hos Hugging Face. Enligt Check Point Research rekonstruerades angreppskedjan till omkring 17 600 steg som modellen självständigt genomförde.

Även Anthropic och Meta har rapporterat incidenter kopplade till sina testmiljöer. I Anthropics fall var testmiljön av misstag åtkomlig från internet, vilket gjorde det möjligt för modeller att samla in inloggningsuppgifter och läsa en produktionsdatabas. Meta drabbades av en liknande exponering genom en felkonfiguration hos en extern utvärderare.

AI tar större roll i ransomware

Samtidigt som AI-modeller testas för sina förmågor ökar användningen av AI i kriminella operationer. Check Point Research pekar särskilt på en förskjutning från AI som verktyg till AI som mer självständig aktör.

En ransomwarepartner till gruppen The Gentlemen ska exempelvis ha använt Claude Code i angrepp mot minst sex organisationer. Angriparen valde en äldre modell med färre begränsningar och använde nya sessioner när modellen vägrade utföra vissa instruktioner.

I ett annat fall, som Check Point Research betecknar JADEPUFFER, genomförde en AI-agent en hel utpressningsoperation efter att en människa hade startat processen. Det innebär enligt forskarna ett steg mot så kallad agentisk ransomware, där AI tar ansvar för betydligt större delar av angreppskedjan.

AI-verktygen blir själva attackytan

Samtidigt riktas angreppen mot AI-systemen själva. Kodningsagenter och företagsbaserade copiloter har tillgång till filer, kod, projekt och annan information som normalt betraktas som betrodda källor.

Check Point Research lyfter bland annat GhostApproval, där symboliska länkar kan användas för att få en kodningsagent att skriva filer utanför sin avsedda arbetsyta. Både Google Gemini CLI och Anthropic Claude Code har också behövt säkerhetsuppdateringar efter sårbarheter där exempelvis ett skadligt GitHub-ärende kunde påverka agentens beteende.

Även Microsoft 365 Copilot har varit föremål för attacker. Forskare har visat hur en manipulerad länk kan användas för att få Copilot att läcka företagsfiler, samtidigt som en självspridande promptinjektion har demonstrerats i Microsoft Word.

Sårbarheter hittas snabbare

AI förändrar också tempot i sårbarhetsarbetet. Check Point Research hänvisar till en varning från Storbritanniens National Cyber Security Centre, NCSC, om en kommande våg av patchning när AI-baserad sårbarhetsidentifiering skalas upp.

Under perioden släppte Microsoft 570 säkerhetsfixar i sin juliuppdatering, medan Oracle hade mer än 1 400. Samtidigt är steget från upptäckt till faktisk exploatering fortfarande stort. Check Point uppskattar att omkring en procent av de sårbarheter som identifierades med AI under perioden kunde bekräftas som exploaterade i verkliga angrepp.

Utvecklingen innebär därmed inte bara fler identifierade sårbarheter. Enligt Check Point förskjuts problemet mot hur snabbt organisationer kan verifiera, prioritera och installera säkerhetsuppdateringar.

Kriminell marknad för AI-tillgång

Check Point Research ser dessutom en växande kriminell marknad kring själva tillgången till AI-tjänster. Under en operation som forskarna kallar Zerofot samlades nästan 3 000 giltiga API-nycklar och inloggningsuppgifter in från mer än 1 700 värdar under omkring sju veckor.

Stulna nycklar kan därefter säljas vidare genom tjänster som samlar flera konton och döljer köparens identitet. Forskarna beskriver även hur åtkomsten paketeras i färdiga verktyg, bland annat jailbreakade AI-modeller som marknadsförs som plattformar för penetrationstester.

Samtidigt fortsätter den mer vardagliga AI-användningen att skapa risker. Check Points mätningar från juli visar att en av 36 promptar som skickades till generativa AI-tjänster från företagsmiljöer innehöll information med hög risk för känslig dataexponering. 88 procent av organisationerna i undersökningen hade minst en sådan högriskprompt under månaden.