Datavakten har sett på enkelte av elementene i forordningen med betydning for kommunesektoren. Nedenfor følger en kort fremstilling av disse.
Komplisert regelverk
Store kunstige intelligenssystemer basert på maskinlæring og dype neurale nettverk er såpass kompliserte at de som utvikler dem ikke fullt ut forstår hvordan systemene fungerer. Fullt så komplisert er ikke EU sin forordning om kunstig intelligens, men den er likevel en håndfull.
Definisjonen av kunstig intelligenssystemer er for eksempel ikke helt enkel å få grep om og forstå rekkevidden av. Den er imidlertid avgjørende for når reglene i forordningen kommer til anvendelse – hvilke typer programvare regnes for kunstig intelligens og omfattes av regelverket, og hvilke typer programvare er ikke kunstig intelligens og omfattes derfor ikke?
Ifølge forordningen, er kunstig intelligenssystemer «(…) maskinbasert systemer designet for å operere med varierende grader av autonomi og som kan vise tilpasningsevne etter implementering. Disse systemene, for eksplisitte eller implisitte formål, trekker slutninger fra inputdata for å generere output som kan påvirke fysiske eller virtuelle miljøer. Dette kan inkludere innhold, prediksjoner, anbefalinger eller beslutninger» (AIA artikkel 3 (1)).
Definisjonen er ikke umiddelbart forståelig, men omfatter programvare som benytter maskinlæring og dyp læring. Den kan også omfatte programvare som benytter andre tilnærminger til kunstig intelligens, for eksempel kunnskapsrepresentasjon, ekspertsystemer, statistiske metoder, søkefunksjonalitet og optimaliseringsteknikker.
Det er derfor langt mer enn generativ kunstig intelligens, slik vi kjenner den fra selskaper som Open AI, Microsoft, Google eller Meta, som omfattes av reglene i EUs KI-forordning. Ut ifra definisjonen ovenfor, kan man nesten undres over hva som ikke regnes som kunstig intelligens? Dette spørsmålet vil bli viktig å besvare når forordningen trer i kraft – hvor går grensene mellom programvare som reguleres i forordningen og annen programvare?
Det som uansett er klart, er at forordningen gjelder for virksomheter som utvikler, tilbyr, drifter eller bruker kunstig intelligenssystemer. Den inneholder særskilte regler for virksomheter som utvikler grunnmodeller («general purpose AI»), for eksempel GPT-4, LLaMA 2 eller Chinchilla.
Forordningen gjelder i tillegg for applikasjoner som er utviklet på toppen av grunnmodeller, og for produkter hvor KI-funksjonalitet inngår som en del av produktet. Et kuriøst eksempel på det siste er Samsungs nye KI-kjøleskap, som gjenkjenner varer som når de settes inn i og tas ut, og kan foreslå matoppskrifter basert på de varene som oppbevares i det.
Anvendelser av KI som er forbudt
Forordningen legger ned forbud mot enkelte typer anvendelser av kunstig intelligenssystemer. Forbudet omfatter blant annet systemer hvor risikoen med hensyn til helse, sikkerhet og grunnleggende rettigheter, for eksempel retten til personvern og ikke-diskriminering, vurderes å være uakseptabel høy. Slik skade kan forårsakes av systemer som
- manipulerer atferd og svekker evnen til å fatte informerte beslutninger,
- utnytter sårbarheter knyttet til alder, funksjonshemming eller sosiale og økonomiske forhold,
- evaluerer eller klassifiserer enkeltpersoner eller grupper basert på atferd eller personlige egenskaper.
Forordningen forbyr også visse typer biometriske kategoriseringssystemer som kan trekke slutninger om enkeltpersoners rase, politiske meninger, fagforeningsmedlemskap, religiøse overbevisninger, seksualliv eller seksuell legning.
Kunstig intelligenssystemer med høy risiko
Forordningen inneholder særskilte regler for kunstig intelligenssystemer som innebærer høy risiko for helse, sikkerhet og grunnleggende rettigheter. Følgende høy-risiko-systemer er særlig relevante i kommunesektoren:
- Systemer som anvendes i forvaltningen av viktige offentlige tjenester, for eksempel beslutninger om tildeling av sosiale ytelser.
- Systemer som anvendes for å bestemme opptak til opplæringsinstitusjoner, inkludert yrkesfaglig opplæring.
- Systemer som anvendes i grunnopplæringen til vurdering av elevenes faglige ferdigheter, kompetanse og utvikling, for eksempel læringsanalyse.
- KI-baserte sikkerhetskomponenter som benyttes i styring og drift av kritisk infrastruktur, for eksempel vann- og elektrisitetsforsyning, oppvarming og trafikksystemer.
- Systemer som anvendes ved ansettelse av medarbeidere i virksomheten, for eksempel evaluering av jobbsøkere.
- Systemer som anvendes i ansettelsesforhold til (i) fordeling av arbeidsoppgaver og (ii) kontroll og evaluering av arbeidsutførelsen.
- Systemer som anvendes i ansettelsesforhold til å fatte beslutninger om opprykk/forfremmelse, oppsigelse eller avskjedigelse.
- Systemer som anvendes til biometrisk identifisering og kategorisering av enkeltpersoner.
Alle kunstige intelligenssystemer som profilerer enkeltpersoner og predikerer personlige egenskaper, for eksempel knyttet til arbeidsutførelse, økonomi, helse eller interesser/preferanser, regnes som høy risiko.
Tilbydere av høy-risiko-systemer har en rekke plikter etter forordningen. De skal blant annet gjøre regelmessige vurdere av risiko gjennom hele systemets levetid, og iverksette risikoreduserende tiltak dersom det er nødvendig. De skal også etablere internkontroll (kvalitetssystem) som sørger for etterlevelse av reglene i forordningen.
De samme reglene gjelder for enkelte typer brukere av høy-risiko-systemer, for eksempel brukere som gjøre vesentlige endringer i eller tilpasninger av funksjonaliteten i slike systemer.
Øvrige regler i forordningen
KI-forordningen inneholder en rekke regler som ikke er drøftet her. Det gjelder blant annet bestemmelser om merking av KI-produkter og KI-generert innhold. Det siste inkluderer vannmerking av tekst, tale, bilder og video som er fremstilt ved hjelp av kunstig intelligens. Det inkluderer også forpliktelser til å informere om «deep fakes», det vil si publisering av KI-generert innhold som likner på virkelige personer, objekter, steder, hendelser, osv.
Forordningen inneholder i tillegg en rekke andre bestemmelser, for eksempel med hensyn til sikkerheten i kunstig intelligenssystemer, innhenting av treningsdata, testing og validering av systemer, standarder og beste praksis, dokumentasjon og tilsyn.
Sanksjoner
Bøter for brudd på reglene i KI-forordningen, er høyere enn for overtredelse av reglene i personvernforordningen (GDPR). Spesielt bøter for brudd på reglene om forbudte anvendelsesområder for kunstig intelligens, er høye. Da risikerer virksomheten å måtte vinke farvel til opp mot sju prosent av den årlige omsetning, alternativt 35 millioner euro.
Manglende etterlevelse av bestemmelsene som gjelder for høy-risiko-systemer, kan også bli kostbart: opp mot tre prosent av den årlige omsetning, alternativt 15 millioner euro.
Det vanker dessuten bøter for brudd på enkelte bestemmelser som ikke er drøftet i denne korte artikkelen (én prosent av årlig omsetningen, alternativt 7,5 millioner euro).
Når trer regelverket i kraft?
KI-forordningen trer i kraft så snart den er endelig vedtatt i EU-parlamentet, altså 10. eller 11. april. Reglene vil likevel ikke gjelde med en gang.
Reglene om kunstig intelligenssystemer med høy risiko, vil begynne å gjelde 24 måneder etter at forordningen er vedtatt i EU-parlamentet. Forbudet mot visse typer anvendelser av kunstig intelligens, vil gjelde når det er gått 12 måneder fra vedtakelsesdatoen.
KI-forordningen blir norsk lov når den innlemmes i EØS-avtalen.
For KiNS – Tommy Tranvik
