Bilden är AI-genererad.

På TikTok möter användarna personer som ser verkliga ut och berättar personliga historier. Problemet är att personerna inte finns. De är skapade med AI och används för att sälja produkter och driva trafik till andra tjänster.

Granskningen är gjord av Karl Emil Nikka tillsammans med Dagens Nyheter. Karl Emil Nikka är it-säkerhetsexpert och bland annat krönikör för Aktuell Säkerhet.

Karl Emil Nikka

Bedrägeriet kan skalas

Falska identiteter är inget nytt. Det nya är hur enkelt och billigt de kan produceras. Med generativ AI kan bedragare skapa bilder, berättelser och innehåll som bygger upp en trovärdig persona – utan att personen bakom kontot behöver existera.

Det förändrar spelplanen. Det som tidigare krävde tid och manuellt arbete kan nu massproduceras.

Och ju mer övertygande det ser ut, desto svårare blir det för användaren att själv avgöra vad som är äkta.

Plattformarnas ansvar

Granskningen pekar samtidigt på en större säkerhetsfråga: vad händer när plattformarnas kontroller inte stoppar uppenbara bluffar?

Det är orimligt att lägga hela ansvaret på användaren när AI gör det möjligt att skapa hundratals falska identiteter och berättelser i hög takt. Plattformarna har både tekniken och datan för att upptäcka mönster som en enskild användare aldrig kan se.

Läs hela granskningen här.