CMD + K

Introduksjon til maskinlæringKapittel 6Metrikker, terskler og ROC

11 min lesing

Metrikker, terskler og ROC

Les en confusion matrix, velg metrikk etter hva feilene koster, og se hvordan terskelen flytter modellen langs ROC-kurven.

Læringsmål

01Fyll ut en forvirringsmatrise fra en tekstbeskrivelse og regn ut accuracy, precision, recall, specificity og F1
02Velg metrikk ut fra hva falske negative og falske positive koster
03Forklar hvorfor en lavere terskel flytter modellen opp og mot høyre langs ROC-kurven
04Regn ut ROC-punkter (FPR, TPR) fra forvirringsmatriser ved to terskler
05Regn ut AUC ved å telle positiv–negativ-par, og forklar hvorfor AUC ikke er accuracy
06Tolk en PR-kurve og forklar når den er mer informativ enn ROC

0 av 17 aktiviteter

Kjerneidé

En klassifiseringsmodell gir en score, og det er terskelen som gjør scoren til et ja eller nei. Alle metrikkene i kapitlet er ulike måter å telle de fire mulige utfallene på: riktig ja, feil ja, riktig nei og feil nei. Tenk på en røykvarsler: er den for følsom, piper den hver gang du steker egg, og er den for treg, sover du gjennom en ekte brann. Følsomheten er terskelen, og ROC-kurven viser alle følsomhetsinnstillingene på én gang.

Steg 1 av 7

Forvirringsmatrisen

Konsept

Før vi kan måle noe, må vi bestemme hvilken klasse som er positiv. Positiv betyr «tilstanden vi leter etter», som mislighold, sykdom eller svindel, ikke «noe bra». Deretter havner hvert testeksempel i én av fire celler i en confusion matrix, der radene er den faktiske klassen og kolonnene det modellen predikerte:

TP (sann positiv): faktisk positiv, predikert positiv.
FN (falsk negativ): faktisk positiv, men modellen sa nei. Et oversett tilfelle.
FP (falsk positiv): faktisk negativ, men modellen sa ja. En falsk alarm.
TN (sann negativ): faktisk negativ, predikert negativ.

Navnet leses bakfra: siste del (positiv eller negativ) er hva modellen sa, første del (sann eller falsk) er om det stemte. En falsk negativ er altså et «nei» som var feil.

En bank som tester en modell for mislighold, ser særlig på feilcellene, fordi de koster ulikt: en FN gir et lån som ikke blir betalt tilbake, en FP gir en avvist kunde som ville betalt.

Det enkleste sammendraget er accuracy, andelen riktige av alle, gitt ved ƒaccuracy:

accuracy = \frac{T P + T N}{T P + T N + F P + F N}

Interaktiv figur

Accuracy behandler alle feil likt og påvirkes sterkt av klassefordelingen. Hvis bare 1 % av søkerne misligholder, får en modell som alltid svarer «betaler», 99 % accuracy uten å finne ett eneste risikotilfelle. Derfor trenger vi metrikker som ser på hver klasse for seg, men først må tallene havne i riktig celle.

Prøv: Dra τ fra venstre mot høyre og se eksemplene flytte seg mellom cellene; summen er alltid 40.

Accuracy0,72Flagget19 av 40

Terskel τ0,50

Vis utregning

Metrikker ved τ = 0,50: TP 14, FN 6, FP 5, TN 15.
Precision	TP / (TP + FP) = 14 / 19	0,74
Recall (TPR)	TP / (TP + FN) = 14 / 20	0,70
Spesifisitet	TN / (TN + FP) = 15 / 20	0,75
FPR	FP / (FP + TN) = 5 / 20	0,25
Accuracy	(TP + TN) / alle = 29 / 40	0,72
F1	2PR / (P + R)	0,72

Laster interaktiv figur …

Figur 6.1Terskelen fordeler de 40 søkerne i matrisen. 40 lånesøkere sortert etter modellens score; score ≥ τ predikeres som mislighold.

Interaktiv

RegneeksempelEt kamera avviser 45 av 500 flasker, og 38 av de avviste er blant de 50 som har sprekk: fyll ut matrisen og regn ut accuracy.Vis løsning

Steg 1. Positiv klasse er «sprekk». TP er avviste flasker som faktisk har sprekk: $T P = 38$ .

Steg 2. FP er avviste flasker uten sprekk: $F P = 45 - 38 = 7$ .

Steg 3. FN er sprukne flasker som slapp gjennom: $F N = 50 - 38 = 12$ .

Steg 4. Resten er TN: $T N = 500 - 38 - 7 - 12 = 443$ . Kontroll: radene summerer til 50 sprukne og 450 hele flasker.

Steg 5. $accuracy = (38 + 443) /500 = 481/500 = 0, 962$ .

Et kamera som aldri avviser noe, ville fått $450/500 = 0, 90$ . Accuracy sier lite før du sammenligner med en slik triviell modell.

Øving 1 av 2Flervalg

En modell har $T P = 40$ , $T N = 130$ , $F P = 10$ og $F N = 20$ . Hva er accuracy?

Øving 2 av 2Tallsvar

Et phishingfilter testes på 200 e-poster, der 40 faktisk er phishing. Filteret flagger 36 e-poster, og 30 av dem er phishing. Regn ut accuracy. Oppgi svaret med to desimaler.

Steg 2 av 7

Precision, recall og specificity

Konsept

Accuracy spør «hvor ofte har modellen rett?». De tre neste metrikkene stiller skarpere spørsmål, og den eneste forskjellen mellom dem er hva du deler på.

Precision starter i kolonnen med positive prediksjoner: av alle modellen flagget, hvor mange var faktisk positive? ƒPrecision gir $T P / (T P + F P)$ . Høy precision betyr at et varsel er til å stole på. Flaskekameraet gir $38/45 \approx 0, 84$ .

Recall starter i raden med faktiske positive: av alle som virkelig var positive, hvor mange fant modellen? ƒRecall gir $T P / (T P + F N)$ , her $38/50 = 0, 76$ . Recall kalles også sensitivitet eller true positive rate (TPR). En modell som flagger alt, får recall 1, så recall alene kan ikke skille en god modell fra en ivrig en.

Specificity er speilbildet for den negative klassen: av alle faktiske negative, hvor mange slapp modellen riktig gjennom? ƒSpecificity gir $T N / (T N + F P) = 443/450 \approx 0, 98$ . Komplementet er ƒfalse positive rate, $FPR = F P / (F P + T N) \approx 0, 02$ , andelen negative som feilaktig flagges. TPR og FPR blir aksene i ROC-kurven senere i kapitlet.

Precision og recall har samme teller, $T P$ , men ulike nevnere: precision straffer FP, recall straffer FN. Derfor går de ofte i motsatt retning når terskelen endres. Flagger du flere, fanger du flere positive (recall opp), men får også flere falske alarmer (precision ned).

Vanlig felleNevneren avslører metrikken

Skriv nevneren med ord før du regner. Precision: alle predikerte positive, $T P + F P$ . Recall: alle faktiske positive, $T P + F N$ . Specificity: alle faktiske negative, $T N + F P$ .

Playground

Metrikker fra fire tellinger

Prøv: Dra terskel og se «TP», «FN», «FP» og «TN» flytte seg, og «precision» og «recall» gå hver sin vei.

terskel0.50

Pythonkap4-metrikker-fra-matrise.py

import numpy as np

rng = np.random.default_rng(2024)
y_true = rng.integers(0, 2, size=40)
score = 0.30 + 0.40 * y_true + rng.normal(0, 0.20, size=40)
terskel = 0.50  # @param 0.05..0.95 0.05
y_pred = (score >= terskel).astype(int)

tp = np.sum((y_true == 1) & (y_pred == 1))
fn = np.sum((y_true == 1) & (y_pred == 0))
fp = np.sum((y_true == 0) & (y_pred == 1))
tn = np.sum((y_true == 0) & (y_pred == 0))

precision = tp / (tp + fp) if tp + fp else 0.0
recall = tp / (tp + fn)
specificity = tn / (tn + fp)
f1 = 2 * precision * recall / (precision + recall) if precision + recall else 0.0

print(f"TP={tp}  FN={fn}  FP={fp}  TN={tn}")
print(f"precision={precision:.3f}  recall={recall:.3f}")
print(f"specificity={specificity:.3f}  F1={f1:.3f}")

Ctrl/Cmd + Enter kjører

Øving 1 av 3Flervalg

Med $T P = 40$ og $F P = 10$ , hva er precision?

Øving 2 av 3Flervalg

Med $T P = 40$ og $F N = 20$ , hva er recall?

Øving 3 av 3Flervalg

Med $T N = 130$ og $F P = 10$ , hva er specificity omtrent?

Steg 3 av 7

Velg metrikk etter hva feilene koster

Konsept

Ingen metrikk er best i alle situasjoner. Spørsmålet er alltid: hvilken feil er dyrest?

Når en falsk negativ er dyr og en falsk positiv billig, prioriterer du recall. Det typiske eksempelet er screening: et oversett krefttilfelle kan koste et liv, mens en falsk alarm bare koster en ekstra undersøkelse. Det samme gjelder lekkasjevarsling, sikkerhetskontroll og feil på kritisk utstyr. Der godtar vi mange falske alarmer for å fange nesten alle ekte tilfeller.

Når en falsk positiv er dyr, prioriterer du precision. Det gjelder kostbare eller inngripende tiltak: å stenge en kundes konto, operere en pasient, tilbakekalle et produkt eller sende ut en utrykning. Et varsel som utløser noe slikt, må være riktig, selv om det betyr at noen ekte tilfeller slipper gjennom.

Når begge feilene betyr noe og de sanne negative er uinteressante, kan du bruke F1-score, det harmoniske gjennomsnittet ƒF1-score:

F_{1} = \frac{2 \cdot precision \cdot recall}{precision + recall}

Interaktiv figur

Det harmoniske snittet blir lavt så snart én av de to er lav. Precision 1 og recall 0,1 gir et vanlig snitt på 0,55, men $F_{1} \approx 0, 18$ . F1 vekter likevel FP og FN likt, så den erstatter ikke en vurdering av hva feilene faktisk koster.

Prøv: Finn den høyeste τ som gir recall ≥ 0,9 (brikken får hake), og les av hvor mye precision har falt.

Recall0,77mål ≥ 0,90Precision0,88

Terskel τ0,60

Vis utregning

Metrikker ved τ = 0,60: TP 23, FN 7, FP 3, TN 27.
Precision	TP / (TP + FP) = 23 / 26	0,88
Recall (TPR)	TP / (TP + FN) = 23 / 30	0,77
Spesifisitet	TN / (TN + FP) = 27 / 30	0,90
FPR	FP / (FP + TN) = 3 / 30	0,10
Accuracy	(TP + TN) / alle = 50 / 60	0,83
F1	2PR / (P + R)	0,82

Laster interaktiv figur …

Figur 6.2Screening: hvor mye precision koster høy recall? Screening av 60 personer: en syk som ikke flagges (FN), er den dyre feilen.

Interaktiv

RegneeksempelVelg mellom modell A (precision 0,90, recall 0,50) og modell B (precision 0,60, recall 0,80), først for screening og så for et kostbart tiltak.Vis løsning

Steg 1. Regn F1 for begge. A: $2 \cdot 0, 9 \cdot 0, 5/ (0, 9 + 0, 5) = 0, 9/1, 4 \approx 0, 64$ . B: $2 \cdot 0, 6 \cdot 0, 8/ (0, 6 + 0, 8) = 0, 96/1, 4 \approx 0, 69$ .

Steg 2. Screening: et oversett tilfelle er dyrest, så recall teller mest. B finner 80 % av de positive, A bare 50 %. Velg B.

Steg 3. Kostbart tiltak: hver falsk alarm er dyr, så precision teller mest. Når A varsler, har den rett ni av ti ganger, mot seks av ti for B. Velg A.

Steg 4. F1 peker på B i begge tilfeller, fordi den ikke vet hva feilene koster. Bruk F1 bare når FP og FN er omtrent like ille.

Øving 1 av 3Flervalg

En modell som skal oppdage lekkasjer i vannrør har precision $0, 75$ og recall $0, 5$ . Hva er F1?

Øving 2 av 3Flervalg

Et vannverk varsler om forurensning. En oversett forurensning er svært kostbar, mens en unødvendig ekstra prøve er billig. Hvilken metrikk bør veie tyngst når modellen evalueres?

Øving 3 av 3Kode · Python

Precision, recall og F1

Implementer de tre klassifikasjonsmålene

$precision = \frac{T P}{T P + F P}, recall = \frac{T P}{T P + F N}, F_{1} = \frac{2 \cdot precision \cdot recall}{precision + recall}$

Hvis en nevner er 0, skal målet være 0.0, som med zero_division=0 i scikit-learn.

Signatur: prf(tp, fp, fn) returnerer (precision, recall, f1).

Inndata: én linje med $T P$ , $F P$ og $F N$ .

Utdata: precision, recall og $F_{1}$ med fire desimaler. Koden under den låste linjen leser inndata og skriver utdata, så du fyller bare inn funksjonen.

Eksempel

Inndata:
6 2 4

Utdata:
0.7500 0.6000 0.6667

Utregning: Precision er $\frac{6}{8} = 0, 75$ , recall er $\frac{6}{10} = 0, 6$ og $F_{1} = \frac{2 \cdot 0 , 75 \cdot 0 , 6}{1 , 35} \approx 0, 6667$ .

Pythonlosning.py

"""Precision, recall og F1 fra antall TP, FP og FN."""


def prf(tp, fp, fn):
    # TODO: regn ut precision, recall og F1 (bruk 0.0 når nevneren er 0)
    return 0.0, 0.0, 0.0


# --- ikke endre under denne linjen ---
def fmt(v, d=4):
    s = f"{v:.{d}f}"
    return s[1:] if s.startswith("-") and float(s) == 0 else s


tp, fp, fn = (int(t) for t in input().split())
p, r, f1 = prf(tp, fp, fn)
print(fmt(p), fmt(r), fmt(f1))

Testtilfeller4 tester kjøres ved «Sjekk»

Steg 4 av 7

Terskelen flytter modellen langs ROC-kurven

Konsept

De fleste klassifikatorer gir ikke et ja eller nei, men en score, for eksempel en sannsynlighet fra logistisk regresjon. Et ja oppstår først når vi velger en beslutningsterskel $τ$ og sier at score $\geq τ$ betyr positiv. Samme modell gir derfor én forvirringsmatrise per terskel.

Tenk gjennom hva som skjer når $τ$ senkes. Flere eksempler havner over terskelen og blir predikert positive, og ingen som allerede var positive, blir negative. Både TP og FP kan derfor bare øke eller stå stille, og dermed øker både TPR og FPR (eller står stille). Lav terskel går mot «flagg alt», høy terskel mot «flagg ingenting».

En ROC-kurve samler alle disse matrisene i ett bilde. For hver terskel tegner vi punktet

(FPR, TPR) = (\frac{F P}{F P + T N}, \frac{T P}{T P + F N})

med FPR på x-aksen og TPR på y-aksen. En terskel over den høyeste scoren gir $(0, 0)$ , fordi ingen flagges. Terskel 0 gir $(1, 1)$ , fordi alle flagges. Mellom disse går kurven monotont opp og mot høyre. Det ideelle punktet er $(0, 1)$ øverst til venstre: alle positive funnet og ingen falske alarmer. Diagonalen er en modell som gjetter tilfeldig.

Interaktiv figur

ROC-kurven beskriver modellens rangering av eksemplene. Å flytte terskelen endrer ikke modellen, bare hvilket punkt på kurven du bruker.

Prøv: Senk τ fra 0,95 mot 0 og følg punktet: det går bare opp og mot høyre, aldri tilbake.

FPR0,00TPR0,05

Terskel τ0,95

Vis utregning

Metrikker ved τ = 0,95: TP 1, FN 19, FP 0, TN 20.
Precision	TP / (TP + FP) = 1 / 1	1,00
Recall (TPR)	TP / (TP + FN) = 1 / 20	0,05
Spesifisitet	TN / (TN + FP) = 20 / 20	1,00
FPR	FP / (FP + TN) = 0 / 20	0,00
Accuracy	(TP + TN) / alle = 21 / 40	0,53
F1	2PR / (P + R)	0,10

Laster interaktiv figur …

Figur 6.3Fra terskel til punkt på ROC-kurven. Hver terskel gir én matrise og dermed ett punkt (FPR, TPR) på ROC-kurven.

Interaktiv

RegneeksempelEt testsett har 80 positive og 120 negative; regn ut ROC-punktene ved terskel 0,7 (TP = 44, FP = 9) og terskel 0,4 (TP = 68, FP = 30).Vis løsning

Steg 1. Fyll ut resten av matrisene. Ved $τ = 0, 7$ : $F N = 80 - 44 = 36$ og $T N = 120 - 9 = 111$ . Ved $τ = 0, 4$ : $F N = 80 - 68 = 12$ og $T N = 120 - 30 = 90$ .

Steg 2. TPR deler på alle faktiske positive (80): $44/80 = 0, 55$ og $68/80 = 0, 85$ .

Steg 3. FPR deler på alle faktiske negative (120): $9/120 = 0, 075$ og $30/120 = 0, 25$ .

Steg 4. Punktene er $(0, 075; 0, 55)$ og $(0, 25; 0, 85)$ . Den lave terskelen ligger opp og til høyre for den høye, akkurat som resonnementet over sa.

Øving 1 av 3Flervalg

Hva varierer man for å tegne en ROC-kurve fra én sannsynlighetsmodell?

Øving 2 av 3Flervalg

Beslutningsterskelen for en sannsynlighetsmodell senkes fra $0, 8$ til $0, 2$ . Hvordan flytter punktet seg på ROC-kurven (FPR på x-aksen, TPR på y-aksen)?

Øving 3 av 3Tallsvar

Ved terskel $0, 4$ har en modell $T P = 27$ , $F N = 9$ , $F P = 16$ og $T N = 48$ . Regn ut FPR, altså x-koordinaten til punktet på ROC-kurven. Oppgi svaret med to desimaler.

Steg 5 av 7

AUC: rangering, ikke treffsikkerhet

Konsept

En hel kurve er vanskelig å sammenligne, så vi oppsummerer den ofte med AUC, arealet under ROC-kurven. Arealet kan regnes ut som trapeser mellom nabopunkter med ƒtrapesbidrag til AUC, men den viktigste tolkningen er en annen.

AUC er sannsynligheten for at et tilfeldig valgt positivt eksempel får høyere score enn et tilfeldig valgt negativt eksempel. På et lite datasett kan du regne den eksakt ved å telle par, ƒAUC som parrangering:

AUC = \frac{antall par der den positive har høyest score}{n _{+} \cdot n _{-}}

der uavgjorte par teller en halv. AUC = 1 betyr at alle positive ligger over alle negative, og da finnes en terskel som skiller perfekt. AUC = 0,5 betyr at modellen rangerer som et myntkast. AUC under 0,5 betyr at modellen rangerer baklengs; snur du scoren, får du $1 - AUC$ .

Fordi AUC bare avhenger av rekkefølgen på scorene, er den uavhengig av terskelen. Den endres heller ikke om du dobler alle scorene eller tar kvadratroten av dem, for rekkefølgen er den samme. Det er både en styrke og en begrensning: AUC sier hvor godt modellen sorterer, men ingenting om hvor mange feil du får ved terskelen du faktisk bruker, eller om scorene er pålitelige sannsynligheter.

Interaktiv figur

Prøv: Senk τ forbi én score om gangen: en positiv flytter ROC-punktet ett trinn opp, en negativ ett trinn mot høyre.

AUC0,85Riktige par17 av 20

Terskel τ0,50

Vis utregning

AUC = 17 / 20 = 0,85: andelen positiv–negativ-par der den positive har høyest score. Hver rute i rutenettet er ett par; AUC avhenger ikke av τ.

Laster interaktiv figur …

Figur 6.4AUC som andel riktig rangerte par. De ni scorene fra regneeksempelet; hver rute i rutenettet er ett par av en positiv og en negativ.

Interaktiv

RegneeksempelRegn ut AUC når de positive har score 0,92, 0,81, 0,58 og 0,44 og de negative har score 0,67, 0,49, 0,35, 0,22 og 0,12.Vis løsning

Steg 1. Antall par er $n_{+} \cdot n_{-} = 4 \cdot 5 = 20$ .

Steg 2. Tell for hver positiv hvor mange negative den slår. $0, 92$ og $0, 81$ slår alle fem. $0, 58$ slår fire (ikke $0, 67$ ). $0, 44$ slår tre (ikke $0, 67$ eller $0, 49$ ).

Steg 3. Sum: $5 + 5 + 4 + 3 = 17$ riktig rangerte par og ingen uavgjorte.

Steg 4. $AUC = 17/20 = 0, 85$ . Det betyr ikke 85 % riktige klassifikasjoner. Ved $τ = 0, 5$ blir 7 av 9 klassifisert riktig, altså accuracy $\approx 0, 78$ .

Konsept

Vanlig felleAUC er ikke accuracy

AUC 0,85 betyr ikke at 85 % av eksemplene klassifiseres riktig. Accuracy hører til én bestemt terskel, mens AUC oppsummerer alle terskler og måler bare rangering.

Øving 1 av 2Flervalg

Et testsett har to positive eksempler med score $0, 9$ og $0, 6$ , og tre negative med score $0, 7$ , $0, 3$ og $0, 2$ . Hva er AUC?

Øving 2 av 2Tallsvar

Positive eksempler har score $0, 8$ , $0, 55$ og $0, 4$ , og negative eksempler har score $0, 6$ , $0, 5$ , $0, 3$ og $0, 1$ . Regn ut AUC. Oppgi svaret med to desimaler.

Steg 6 av 7

PR-kurven og ROC i Python

Konsept

ROC-kurven har en svakhet: FPR deler på alle negative. Når den negative klassen er enorm, kan en FPR som ser liten ut, likevel bety mange falske alarmer. Med 10 000 negative gir FPR 0,02 hele 200 falske positive, og finnes det bare 50 positive, drukner treffene i alarmer.

En PR-kurve plotter i stedet precision mot recall for alle terskler. Precision sammenligner falske alarmer direkte med ekte funn, så den avslører problemet med en gang. Grunnlinjen er heller ikke diagonalen, men andelen positive: en modell som gjetter, har precision lik positivandelen uansett recall. Ved sterk ubalanse er PR-kurven derfor ofte mer ærlig enn ROC. Kapittel 8 går dypere inn i dette.

Interaktiv figur

Prøv: Senk τ mot 0 og følg punktet: recall stiger mot 1, mens precision faller mot andelen spam.

Precision0,78Recall0,70

Terskel τ0,60

Vis utregning

Metrikker ved τ = 0,60: TP 14, FN 6, FP 4, TN 16.
Precision	TP / (TP + FP) = 14 / 18	0,78
Recall (TPR)	TP / (TP + FN) = 14 / 20	0,70
Spesifisitet	TN / (TN + FP) = 16 / 20	0,80
FPR	FP / (FP + TN) = 4 / 20	0,20
Accuracy	(TP + TN) / alle = 30 / 40	0,75
F1	2PR / (P + R)	0,74

Laster interaktiv figur …

Figur 6.5PR-kurven: precision mot recall for alle terskler. 40 e-poster, halvparten spam: hver terskel gir ett punkt (recall, precision).

Interaktiv

Playground

I scikit-learn regner roc_curve(y, score) ut FPR, TPR og tersklene i én operasjon, og roc_auc_score(y, score) gir arealet. Begge trenger scorer, for eksempel predict_proba(X)[:, 1], ikke ferdige klasser fra predict. Med bare 0 og 1 finnes det én eneste terskel, og kurven får bare ett knekkpunkt. Funksjonen precision_recall_curve gjør det samme for PR-kurven.

ROC-kurve og AUC med scikit-learn

Prøv: Dra avstand fra 0 til 3 og se ROC-kurven løfte seg fra diagonalen mens «roc_auc_score» går fra 0,5 mot 1.

avstand1.5

Pythonkap6-roc-sklearn.py

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import roc_auc_score, roc_curve

rng = np.random.default_rng(5)
avstand = 1.5  # @param 0..3 0.1
y = np.r_[np.zeros(60, dtype=int), np.ones(40, dtype=int)]
score = rng.normal(0, 1, y.size) + avstand * y   # de positive ligger «avstand» høyere

fpr, tpr, terskler = roc_curve(y, score)
pos, neg = score[y == 1], score[y == 0]
print(f"roc_auc_score           = {roc_auc_score(y, score):.3f}")
print(f"andel par der pos > neg = {np.mean(pos[:, None] > neg[None, :]):.3f}")

plt.figure()
plt.plot(fpr, tpr, label=f"ROC, avstand {avstand}")
plt.plot([0, 1], [0, 1], label="tilfeldig rangering")
plt.xlabel("FPR (andel falske alarmer)")
plt.ylabel("TPR (recall)")
plt.legend()
plt.tight_layout()
plt.show()

Ctrl/Cmd + Enter kjører

Øving 1 av 1Kode · Python

Ett punkt på ROC-kurven

Regn ut ett punkt på ROC-kurven. Et eksempel predikeres som positivt når scoren er større enn eller lik terskelen, og punktet er

$TPR = \frac{T P}{T P + F N}, FPR = \frac{F P}{F P + T N}$

Du kan anta at det finnes både positive og negative eksempler.

Signatur: roc_punkt(score, etiketter, terskel) returnerer (tpr, fpr).

Inndata: første linje er scorene, andre linje etikettene (1 er positiv, 0 er negativ) og tredje linje terskelen.

Utdata: TPR og FPR med fire desimaler. Koden under den låste linjen leser inndata og skriver utdata, så du fyller bare inn funksjonen.

Eksempel

Inndata:
0.9 0.4 0.7 0.2
1 1 0 0
0.5

Utdata:
0.5000 0.5000

Utregning: Med terskel 0,5 er scorene 0,9 og 0,7 positive prediksjoner. Det gir $T P = 1$ , $F N = 1$ , $F P = 1$ og $T N = 1$ , så $TPR = \frac{1}{2}$ og $FPR = \frac{1}{2}$ .

Pythonlosning.py

"""TPR og FPR for én terskel (positiv når score >= terskel)."""


def roc_punkt(score, etiketter, terskel):
    # TODO: prediker positiv når score >= terskel, og regn ut TPR og FPR
    return 0.0, 0.0


# --- ikke endre under denne linjen ---
def fmt(v, d=4):
    s = f"{v:.{d}f}"
    return s[1:] if s.startswith("-") and float(s) == 0 else s


score = [float(t) for t in input().split()]
etiketter = [int(t) for t in input().split()]
terskel = float(input())
tpr, fpr = roc_punkt(score, etiketter, terskel)
print(fmt(tpr), fmt(fpr))

Testtilfeller4 tester kjøres ved «Sjekk»

Mine notater

Skriv egne notater for dette kapittelet. De lagres automatisk og dukker opp i «Mine notater»-oversikten paa fag-siden.

Laster…

Test deg selv

Tar du quizen på kapittel 6?

15 spørsmål satt sammen til dette kapittelet — den beste måten å sjekke at det sitter.

Start quiz

Begreper & referanser

10 begreper · 8 formler · 2 referanser i kapittelet

Forrige

Bayes-klassifikasjon og Naive Bayes

Kap 05

Neste

Generalisering og modellvalg

Kap 07