Expert varnar: AI-utvecklingen springer ifrån säkerheten

AI-utvecklingen går snabbt, men många organisationer har svårt att hinna bygga upp de rutiner och säkerhetskontroller som krävs för att använda tekniken på ett ansvarsfullt sätt. Det var ett av huvudbudskapen när Leif Jensen, IT-säkerhetsexpert på ESET Nordics, talade om AI och cybersäkerhet under en eftermiddagskonferens som ESET arrangerade på Tivoli i Köpenhamn.

Enligt Leif Jensen drivs utvecklingen av en kapplöpning mellan företag som vill ligga längst fram, både tekniskt och kommersiellt. Men viljan att snabbt införa AI riskerar att gå före säkerhetsarbetet.

– Verksamheterna har så bråttom med hur de kan implementera AI för att spara pengar eller tjäna mer pengar. Och så glömmer man säkerheten i jakten på att spara eller tjäna pengar, säger Leif Jensen.

Han pekar särskilt på att AI-tjänster ofta betraktas som vanliga verktyg i webbläsaren, trots att de kan kopplas till databaser, ekonomisystem och andra interna resurser. Därmed kan en till synes enkel tjänst få tillgång till information och funktioner som kräver betydligt större kontroll.

Shadow AI utan tydliga spelregler

Ett konkret problem är användningen av Shadow AI – AI-verktyg och tjänster som medarbetare använder utan att organisationen har godkänt eller känner till dem. Under konferensen hänvisade Leif Jensen till uppgifter om att 45 procent av svenska verksamheter saknar en policy för hur Shadow AI ska hanteras. Motsvarande andel i Danmark uppgavs vara 35 procent.

Att helt förbjuda tekniken är enligt honom inte en realistisk väg framåt. Det riskerar i stället att driva användningen under radarn och göra det svårare för organisationer att konkurrera.

I stället behöver ledningen ta ställning till hur AI ska användas, se till att det finns en grundläggande teknisk förståelse och införa riktlinjer som följs upp med kontrollmekanismer.

– Det måste börja med att man har en hållning i ledningen. Hur vill vi utnyttja AI i vår verksamhet?

För verksamheter som vill testa tekniken rekommenderar Leif Jensen också att undersöka möjligheterna med lokal AI. Det kan exempelvis vara ett alternativ när AI ska bearbeta interna dokument med konfidentiell information. Andra uppgifter, som att generera bilder eller söka information på nätet, kan hanteras med externa tjänster.

Autonoma agenter skapar nya risker

Nästa säkerhetsutmaning handlar om AI-agenter som själva kan utföra uppgifter och kommunicera med andra agenter. När företag börjar använda sådana lösningar i sina nätverk blir det svårare att överblicka vad systemen faktiskt gör och vilka resurser de försöker nå.

Leif Jensen beskriver bristen på insyn som en av de största utmaningarna. Agenternas interna kommunikation är inte något människor enkelt kan följa eller förstå.

– Den största utmaningen är att man inte riktigt har någon möjlighet att veta vad de företar sig, säger han.

Han menar att utvecklingen behöver ske i ett tempo där mänsklig kompetens och kontroll hänger med. ESETs hållning är att kombinera AI med mänsklig expertis, snarare än att överlåta allt ansvar till automatiserade system.

Trafiken bakom brandväggen måste övervakas

Samtidigt återkommer Leif Jensen till en säkerhetsfråga som han menar att organisationer har försummat under lång tid: övervakningen av den interna nätverkstrafiken.

En angripare som lyckas utnyttja en sårbarhet behöver inte omedelbart installera skadlig kod. Nästa steg kan vara att kartlägga nätverket, identifiera servrar, leta efter öppna portar och undersöka vilka möjligheter som finns att ta sig vidare. Sådan aktivitet kan passera obemärkt om organisationen enbart förlitar sig på traditionellt virusskydd.

– Min uppmaning är att man prioriterar att titta på trafiken på insidan av sin brandvägg, säger Leif Jensen.

Organisationer behöver veta hur normal trafik ser ut och kunna upptäcka när något avviker. Det kan exempelvis handla om att en server plötsligt börjar kommunicera med en extern adress eller att ett program körs på ett sätt som inte är normalt för verksamheten.

Här kan AI bidra genom att analysera de stora mängder loggdata som genereras och identifiera avvikande mönster. Men tekniken ska inte ensam avgöra hur en incident ska hanteras.

– AI kan flagga och säga att här är det något onormalt. Men det är människan som ska ta ställning till hur allvarligt det är och vad man ska göra.

För organisationer som saknar möjlighet att bemanna ett eget säkerhetscenter dygnet runt ser han externa övervakningstjänster som ett alternativ. Det viktiga är att upptäcka avvikande aktiviteter snabbt och begränsa skadan om en angripare redan har tagit sig in.

Leif Jensen konstaterar att rådet om att övervaka den interna trafiken är något han har upprepat i flera år. Och han tänker fortsätta göra det.

– Vi är helt enkelt tvungna att säga det många gånger.