Bekymringen er at kraftige KI-modeller vil bli brukt til å utvikle alt fra nye og mer overbevisende nettsvindelmetoder til farlig skadevare som det er nesten umulig å oppdage.
Men hvilke av disse bekymringene er overdrevne og hvilke er realistiske? Hvilke typer KI-trusler er mest vanlige i dag? Og står kommunene allerede nå overfor KI-genererte sikkerhetstrusler mot sine datanettverk og informasjonsverdier?
Hva sier ny forskning?
Forskere hos Google publiserte i juni i år en artikkel som bidrar til å kaste et lys over disse spørsmålene. Forskerne samlet informasjon om omkring 200 sikkerhetshendelser i 2023 og 2024, hvor generativ KI spilte en avgjørende rolle. Informasjonen ble hentet inn fra hendelser rapportert i media verden over. På bakgrunn av denne informasjonen, identifisere forskerne hvilke hovedtyper sikkerhetsbrudd som generativ KI vanligvis anvendes til å utføre. Dette er verdifull innsikt som alle i kommunesektoren med ansvar for digital sikkerhet bør kjenne til.
Hovedkonklusjonene til Google-forskerne er at
- generativ KI anvendes vanligvis til ulike former for manipulasjon, svindel og desinformasjon, og
- anvendelsen av generativ KI til sikkerhetstruende aktivitet er ikke spesiell avansert (brukes på måter som krever begrenset teknisk kompetanse).
Særlig den siste hovedkonklusjonen – generativ KI brukes på lite avanserte måter – er verdt å merke seg. Det indikerer for eksempel at frykten for at KI brukes til å utvikle svært farlig skadevare som er vanskelig å oppdage og bli kvitt, kan være overdrevet, i alle fall enn så lenge.
De vanligste hendelsene
Den klart mest vanlige formen for KI-baserte sikkerhetsbrudd som forskerne observerer i sitt datamateriale, dreier seg om identitetstyveri («impersonation»). Identitetstyveri handler om at generativ KI brukes til å forfalske identiteten til en reell person, for eksempel for å gjøre utbetalinger i denne personens navn eller å foreta andre former for svindel. Nesten 1/4 av sikkerhetshendelsene som forskerne analyserte havnet i denne kategorien.
Den nest mest vanlige formen for KI-baserte sikkerhetsbrudd, er det forskerne omtaler som skalering og forsterkning («scaling and amplification»). Det innebærer at generativ KI benyttes til å automatisere og effektivisere sikkerhetstruende aktiviteter, for eksempel ved masseproduksjon og -utsendelse av nettfiske-eposter.
På tredjeplass kommer det forskerne betegner som falsifisering. Falsifisering handler om at generativ KI benyttes til å endre innholdet i digital informasjon – bilder, videoopptak, dokumenter, osv. Hensikten er gjerne å forvrenge fremstillingen av hendelser eller personer for å oppnå en bestemt effekt hos publikum. Eksempler på dette er at videoer av politikere, næringslivsledere eller kjendiser manipuleres slik at de fremstår i et lite flatterende lys.
Syntetiske personer («sockpupping») er også relativt vanlige hendelser i Google-forskernes datamateriale – i overkant av 10 prosent av hendelsene i datamaterialet handler om dette. Her brukes generativ KI til å skape falske personer med egne kontoer på sosiale medier. Det typiske er at disse kontoene anvendes til å spre desinformasjon, for eksempel for å påvirke folks meninger om samfunnsaktuelle spørsmål.
Få modellangrep
Alle de andre hendelsene som Google-forskerne identifiserte, passerte ikke 10-prosent-grensen. De er altså relativt sjeldent forekommende i datamaterialet.
Angrep på KI-modeller, det vil si angrep som har til hensikt å påvirke måten modellene genererer innhold på, er blant de hendelsene som forskerne finner få reelle eksempler på. Modellangrep som «prompt injection» og «jailbreaking», som prøver å få KI-modeller til å generere skadelig innhold (bombeoppskrifter, rasistiske tekster, desinformasjon, osv.), er derfor «sjeldne fugler». Dette til tross for at de vies betydelig oppmerksomhet av sikkerhetseksperter. Selv om det ikke er mange av dem, kan slike angrep likevel ramme bredt og medføre store skadevirkninger.
Intet nytt fra sikkerhetsfronten?
Funnene fra Google-forskningen antyder at risikoen er størst med hensyn til identitetstyveri og forfalskning eller manipulasjon av digitalt innhold. Forskningen sier likevel lite om hvor omfattende problemet med KI-baserte sikkerhetshendelser er – hvor ofte skjer slike hendelser i dag og hvor forberedt bør kommuner (og andre virksomheter) være? Heldigvis finnes det andre undersøkelser som sier noe om dette.
Den kanskje viktigste av disse undersøkelsene gjennomføres av det amerikanske selskapet Verizon. Hvert år publiseres funnene fra selskapets undersøkelser i rapporten «Data Breach Investigation Report» (DBIR). Rapporten regnes av mange sikkerhetseksperter som den beste kilden til pålitelige data om sikkerhetsbrudd på globalt nivå.
I 2024-utgaven av DBIR opplyser Verizon om at de var på utkikk etter sikkerhetsbrudd hvor KI ble brukt som angrepsverktøy. Fangsten ble imidlertid nokså mager. I rapporten (side 17) sier selskapet følgende:
We did keep an eye out for any indicators of the use of the emerging field of generative artificial intelligence (GenAI) in attack and the potential effects of these technologies, but nothing materialized in the incident data we collected globally.
Verizon anerkjenner at generativ KI kan gjøre det enklere å utvikle skadevare og oppdage sikkerhetshull i programvare, men finner altså ikke indikasjoner på dette i sine nyeste data. Det kan, ifølge selskapet, bety at dagens angrepsmetoder, for eksempel løsepengevirus og nettfiske, fortsatt fungerer så godt at trusselaktører ikke har behov for å anvende generativ KI. De spekulerer også på om fraværet av KI-hendelser kan bety at sikkerhetsbransjen har overdrevet trusselen fra generativ KI – og at slike hendelser (i stort omfang) er noe som ligger et stykke inn i fremtiden.
Hvordan ser fremtiden ut?
DBIR er bare én rapport – det finnes andre rapporter som gir et litt annet bilde. Funnene i DBIR antyder likevel at forebygging og håndtering av «tradisjonelle» trusler og hendelser fortsatt vil være svært viktig, også i kommunesektoren. Samtidig er det et sjansespill å basere seg på at trusselen fra generativ KI vil holde seg på et moderat nivå fremover. Det kan derfor være fornuftig å forberede på det som kan komme allerede nå.
[2406.13843] Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data
