Ansvarlig maskinlæring

Et strømselskap vurderer en modell som skal avgjøre hvilke kunder med ubetalte regninger som får tilbud om nedbetalingsavtale, og hvilke som går rett til inkasso. Før noen sammenligner algoritmer, må teamet svare på noen spørsmål. Hvem berøres, og hvem av dem er sårbare? Hvilken beslutning påvirker modellen, og hva skjer etterpå? Hvilken nytte ønsker vi, og for hvem? Hvilke feil kan skade, og hvem bærer kostnaden? Finnes det enklere alternativer uten modell? En modell med høy AUC kan fortsatt være feil verktøy hvis formålet er uklart eller tiltaket etter prediksjonen er uforsvarlig.

Derfor starter ansvarlighetsarbeidet når formål, berørte grupper og databehov defineres, ikke etter at modellen er trent. Valg av problem, label, metrikk, terskel, brukergrensesnitt og klagevei former alle konsekvensene.

Ansvarlighet betyr at roller, beslutninger og dokumentasjon gjør det mulig å plassere og utøve ansvar. Modellen bestemmer ingenting i moralsk forstand. Mennesker og virksomheter valgte formål, data, terskler og bruk. I praksis betyr det et modellkort som beskriver tiltenkt bruk og kjente begrensninger, dokumenterte og versjonerte data, logging av hvilken modellversjon som ga hvilken beslutning, en navngitt eier og en klagevei som faktisk virker. Ansvaret forsvinner heller ikke når modellen kjøpes fra en leverandør.

Data er målinger fra en sosial prosess, ikke en nøytral fasit. Datasettbias er systematiske skjevheter i innsamling, måling eller utvalg som gjør at dataene ikke representerer det vi vil modellere. Det finnes flere mekanismer, og de krever ulike tiltak.

• •Historisk bias: labelen gjenspeiler tidligere beslutninger, med de skjevhetene de hadde. En modell trent på tidligere ansettelser lærer hvem som ble ansatt, ikke hvem som ville gjort en god jobb.
• •Representasjonsbias: noen grupper har få eller lite varierte eksempler, så modellen blir dårligere for dem.
• •Målebias: samme fenomen registreres ulikt for ulike grupper, for eksempel betalinger som bokføres senere med én betalingsmåte enn med en annen.
• •Seleksjonsbias: datasettet inneholder bare dem som passerte et tidligere filter. Vi vet bare om lån ble tilbakebetalt for dem som fikk lån.

Mer data fra samme prosess fjerner ikke skjevheten, og høy treningsaccuracy viser bare at modellen har lært mønsteret godt, også det skjeve. Å fjerne den sensitive variabelen hjelper heller ikke alltid: postnummer, språk eller kjøpsmønster kan bære mye av den samme informasjonen og fungere som proxy. Tiltakene handler om å dokumentere hvem som mangler og hvordan dataene ble til, sjekke datakvalitet per gruppe, vurdere om labelen måler det vi faktisk vil, og noen ganger samle inn nye data.

Fairness betyr rimelig behandling, men det finnes flere matematiske kriterier, og de måler ulike ting. Demografisk paritet krever at andelen positive beslutninger er lik i gruppene, og avviket måles med ƒdifferanse i demografisk paritet. Lik mulighet krever at recall er lik: blant dem som faktisk kvalifiserer, skal sjansen for en positiv beslutning være den samme, målt med ƒdifferanse i lik mulighet. Equalized odds krever i tillegg lik false positive rate, og predictive parity krever lik precision.

Når grunnratene, altså andelen faktisk positive, er ulike i gruppene og modellen ikke er perfekt, kan ikke alle kriteriene oppfylles samtidig. Det er ikke et teknisk problem med én skjult fasit. Valget uttrykker hvilke feil vi mener er verst, og for hvem. Er en positiv beslutning en fordel, som et tilbud, er det å gå glipp av kvalifiserte personer den viktigste skaden, og lik mulighet er et naturlig valg. Er den en byrde, som en ekstra kontroll, er falske positive den viktigste skaden. Små grupper gir usikre estimater, og like tall for brede grupper kan skjule store forskjeller i undergrupper.

En god testscore beskriver dataene modellen ble testet på. Distribusjonsskift betyr at dataene i bruk fordeler seg annerledes. Det kan være nye kundegrupper, slik at input-fordelingen $P(x)$ endres. Det kan være en annen andel positive, slik at $P(y)$ endres. Eller samme input kan bety noe annet enn før, slik at $P(y\mid x)$ endres, for eksempel når en ny betalingsløsning endrer hva en sen betaling sier om kunden. Det siste er vanskeligst å oppdage, fordi input-fordelingen kan se helt stabil ut.

Overvåk derfor input, prediksjonsrater, ytelse per gruppe og faktiske feil når fasiten blir kjent. Bestem på forhånd hvem som får varsel, hvilke grenser som utløser tiltak, og når saker går over til manuell behandling. Overvåkning uten myndighet til å handle er bare observasjon.

Menneskelig kontroll betyr at kompetente mennesker har tid, informasjon og myndighet til å gripe inn, overstyre og stoppe systemet. En saksbehandler som godkjenner 200 forslag i timen uten innsyn i grunnlaget, har ikke reell kontroll. To kjente feller er automatiseringsbias, at mennesker stoler for mye på forslag som ser presise ut, og alarmtretthet, at så mange varsler gjør at alle blir ignorert.

Etiske retningslinjer for KI bygger ofte på de fire prinsippene fra medisinsk etikk, pluss ett som er særlig viktig for maskinlæring. De er ikke en sjekkliste, men et språk for å se hva som står på spill. Inndelingen under følger Floridi og Cowls (2019), «A Unified Framework of Five Principles for AI in Society», som bygger på bioetikken til Beauchamp og Childress.

• •Velgjørenhet: systemet skal aktivt fremme velferd og gjøre godt for dem det berører, ikke bare spare penger for den som bruker det.
• •Ikke-skade: systemet skal unngå å påføre skade gjennom feil, misbruk, diskriminering eller brudd på personvern og sikkerhet. Det er et smalere krav enn velgjørenhet: å unngå skade er ikke det samme som å gjøre godt.
• •Autonomi: mennesker har rett til å ta informerte valg selv. Autonomien brytes når systemet tvinger fram beslutninger uten samtykke, eller manipulerer brukere uten at de vet det, for eksempel med skjult personalisering som utnytter svakheter.
• •Rettferdighet: goder og byrder skal fordeles rimelig, og ingen skal diskrimineres urimelig. Her kobles etikken til fairness-kriteriene.
• •Forklarbarhet: de berørte skal kunne forstå hvorfor en beslutning ble tatt, og kunne bestride den. Her kobles etikken til forklaringsmetodene i kapittel 16 og til ansvarlighet.

Prinsippene kan trekke i hver sin retning. Mer data kan gi bedre tjenester (velgjørenhet) og samtidig svekke personvernet (ikke-skade). Da må avveiningen gjøres åpent og dokumenteres.

AI Act er EUs forordning om kunstig intelligens. Den bygger på én idé: jo større risiko et bruksområde har for helse, sikkerhet og grunnleggende rettigheter, jo strengere er kravene. For KI-systemer er det altså bruken som klassifiseres, ikke algoritmen. Den samme klassifikatoren kan ha minimal risiko som spamfilter og høy risiko når den sorterer jobbsøkere.

Reglene for KI-systemer kan oppsummeres i fire nivåer. Generelle KI-modeller har i tillegg egne plikter, se under.

• •Uakseptabel risiko, forbudt. Praksisene i lista under er ikke lov, uansett formål.
• •Høy risiko, tillatt men strengt regulert. Et høyrisikosystem er brukt på et av områdene forordningen lister opp, som rekruttering, opptak og vurdering i utdanning, kredittvurdering, og som sikkerhetskomponent i driften av kritisk infrastruktur som strøm, vann og veitrafikk. At et energiselskap bruker KI, er altså ikke nok. KI i produkter under EUs produktregler, som medisinsk utstyr, kan også være høyrisiko. Kravene gjelder blant annet risikostyring, datakvalitet, teknisk dokumentasjon, logging, informasjon til dem som tar systemet i bruk, menneskelig tilsyn og nøyaktighet og robusthet.
• •Begrenset risiko, åpenhetskrav. Folk skal få vite at de snakker med en chatbot, og kunstig generert eller manipulert innhold skal merkes.
• •Minimal risiko, få eller ingen særkrav. Det gjelder de fleste systemer, som spamfiltre og KI i dataspill.

Et system på lista kan slippe unna hvis det bare gjør en snever hjelpeoppgave som ikke påvirker beslutningen vesentlig. Men profilerer det enkeltpersoner, er det alltid høyrisiko.

De forbudte praksisene er:

• •skadelig manipulasjon og utnyttelse av sårbarheter knyttet til alder, funksjonsnedsettelse eller sosial og økonomisk situasjon
• •sosial poengsetting som fører til urimelig dårlig behandling
• •å forutsi om en person vil begå lovbrudd, basert bare på profilering eller personlighetstrekk
• •ukritisk innhenting av ansiktsbilder fra internett eller overvåkingskameraer for å bygge databaser for ansiktsgjenkjenning
• •å utlede følelser hos mennesker på arbeidsplassen eller i utdanning, unntatt av medisinske eller sikkerhetsmessige grunner
• •biometrisk kategorisering for å utlede sensitive egenskaper som rase, religion, politisk syn eller seksuell orientering
• •biometrisk fjernidentifisering i sanntid på offentlige steder til politiformål, med snevre unntak som leting etter savnede og avverging av terrorangrep
• •fra desember 2026 også KI som lager seksuelt eksplisitte bilder av identifiserbare personer uten samtykke, eller overgrepsmateriale av barn

Legg merke til skillet i utdanning og arbeidsliv: KI som vurderer opptak, eksamensbesvarelser eller jobbsøkere, er høyrisiko og tillatt med krav, mens KI som leser følelsene til elever eller ansatte, er forbudt.

Ved siden av de fire nivåene har forordningen egne regler for generelle KI-modeller, som store språkmodeller. Der reguleres modellen selv, uavhengig av hva den senere brukes til, og de største modellene får strengere krav. Pliktene avhenger dessuten av rollen, for eksempel om du utvikler systemet eller tar det i bruk.