AI ändrar hotbilden och spelplanen

Hotet förändras på flera fronter

AI kan sänka kostnaden för att variera bedrägerier, skapa trovärdigt syntetiskt innehåll, analysera läckta data och anpassa social manipulation. Det betyder inte att varje angrepp blir nytt eller framgångsrikt, men skala och anpassning kan förändras. Identitetskontroll och verifierade kontaktvägar blir därför viktigare även för organisationer som själva avvaktar med AI. I den egna miljön tillkommer risker kring modell, data, instruktioner, verktyg, integrationer och externa leverantörer. Sårbarheten finns ofta i kombinationen: ett opålitligt innehåll får påverka en modell som har åtkomst till ett kraftfullt verktyg.

Prompt injection är en mekanism, inte hela modellen

Vid prompt injection försöker indata påverka modellen att följa andra instruktioner än de avsedda. Indirekt injection kan finnas i exempelvis en webbsida, fil eller e-post som systemet läser. Eftersom samma kanal kan bära både information och instruktion blir traditionell indatahantering ensam otillräcklig. Skyddet behöver finnas i flera led: begränsa datakällor och verktyg, separera opålitligt innehåll, validera utdata, verkställ behörighet i målsystem, kräv kontroll för betydande handlingar och följ upp avvikande beteende. Inget enskilt promptfilter bör bära hela säkerheten.

Ett enkelt exempel på indirekt prompt injection

En AI-assistent läser en leverantörswebbsida för att sammanställa information. I sidan finns dold eller till synes normal text som instruerar modellen att bortse från tidigare regler och skicka intern information vidare eller använda ett verktyg på ett otillåtet sätt. Angreppet ligger alltså i innehållet som modellen ska läsa – inte i en särskild chatt med angriparen. Skyddet behöver därför ligga i flera led: Inget enskilt promptfilter bör bära hela säkerheten.

• begränsa vilka datakällor och verktyg som får kombineras,
• behandla externt innehåll som opålitligt,
• validera utdata innan betydande handling,
• verkställ behörighet i målsystemet,
• kräv separat kontroll för betydande handlingar,
• följ upp avvikande beteende.

AI:s leveranskedja

Modeller, tränings- och referensdata, paket, agentverktyg, integrationer och molntjänster kan förändras eller komprometteras. Organisationen behöver veta vilka delar som ingår, vilka ändringar leverantören kan göra och hur uppdateringar testas. Även syntetiskt eller manipulerat innehåll måste hanteras som en tillitsfråga i vanliga processer.