Statistisk inferens: konfidensintervall og hypotesetesting

Regner du ut gjennomsnittstrykket $\overline{x}=13.46\mathrm{mmHg}$ i klinikkdatasettet, har du et punktestimat: ett tall som er ditt beste anslag på populasjonsgjennomsnittet $\mu$. Andelen myope i utvalget (med myopi definert som SER $\le -0.50\mathrm{D}$ [188]), $\widehat{p}=52/71$ – hatten markerer at tallet er et anslag regnet fra utvalget, ikke den sanne verdien – er på samme måte et punktestimat for populasjonsandelen $p$. Et punktestimat har en god egenskap – gjennomsnittet er forventningsrett, det treffer $\mu$ i snitt over mange utvalg – på samme måte som $(n-1)$-nevneren sikret at variansen ble forventningsrett i seksjonen om deskriptiv statistikk, men uten at gjennomsnittet trenger noen tilsvarende korreksjon. Punktestimatet har likevel en åpenbar svakhet: det er nesten aldri nøyaktig lik den sanne verdien, og tallet alene sier ingenting om hvor langt unna det kan ligge. Måler du et nytt utvalg, får du et litt annet gjennomsnitt. Derfor rapporterer vi ikke et punktestimat bart, men med en feilmargin rundt seg – et helt intervall av verdier som er forenlige med dataene. Det intervallet er kjernen i det som følger.

Et konfidensintervall (forkortet KI) er et tallintervall som med en oppgitt grad av tillit fanger den ukjente parameteren. Graden av tillit – konfidensnivået, oftest $95\mathrm{\%}$ – sier hvor ofte metoden treffer; tolkningen kommer vi tilbake til med omhu, for den er lettere å si feil enn riktig. Intervallet bygges rundt punktestimatet: $\overline{x}$ i midten, pluss/minus en feilmargin satt av hvor mye gjennomsnittet spriker fra utvalg til utvalg. Og den sprikingen kjenner vi allerede – det er standardfeilen $\text{SEM}=s/\sqrt{n}$ fra seksjonene om måling og om normalfordelingen.

Hvor stor feilmarginen skal være i enheter av SEM, avhenger av om vi kjenner populasjonens spredning $\sigma$ på forhånd. Det sjeldne, enkle tilfellet er at $\sigma$ er kjent – for eksempel en måleusikkerhet oppgitt av en instrumentprodusent. Da er gjennomsnittet tilnærmet normalfordelt (sentralgrenseteoremet), og et konfidensintervall for $\mu$ er

der den kritiske verdien $z^{\ast }$ hentes rett fra standardnormalfordelingen. Husk fra seksjonen om normalfordelingen de sentrale $z$-verdiene: $z^{\ast }=1.960$ gir $95\mathrm{\%}$, $1.645$ gir $90\mathrm{\%}$, og $2.576$ gir $99\mathrm{\%}$.

Det vanlige tilfellet er derimot at $\sigma$ er ukjent, og at vi må nøye oss med utvalgets eget standardavvik $s$ i stedet. Å bytte den faste $\sigma$ med den tilfeldige $s$ koster noe: estimatet av spredningen er selv usikkert, mest når $n$ er lite. For å betale for det bruker vi en litt bredere fordeling enn normalfordelingen – t-fordelingen (Students t-fordeling). Den er klokkeformet og symmetrisk som normalfordelingen, men har tyngre haler, og formen avhenger av frihetsgradene $\text{fg}=n-1$ – de samme frihetsgradene som variansen kostet i seksjonen om deskriptiv statistikk. Vi oppgir denne fordelingen og utleder den ikke; det du trenger å vite, er at den standardiserte størrelsen $(\overline{x}-\mu )/(s/\sqrt{n})$ følger en t-fordeling med $n-1$ frihetsgrader, og at konfidensintervallet for $\mu$ da blir

med den kritiske verdien $t^{\ast }$ lest fra t-fordelingen med $n-1$ frihetsgrader. Fordi t-fordelingen har tyngre haler, er $t^{\ast }$ alltid større enn den tilsvarende $z^{\ast }$ – intervallet blir litt bredere, som seg hør og bør når vi vet mindre. For $95\mathrm{\%}$ er $t^{\ast }=2.306$ ved $\text{fg}=8$, $2.131$ ved $\text{fg}=15$ og $1.994$ ved $\text{fg}=70$; alle ligger over $1.960$, men nærmer seg den etter hvert som $n$ – og dermed frihetsgradene – vokser. For store utvalg er forskjellen mellom t og z uten praktisk betydning.

I R gjøres t-intervallet med t.test(), som skriver konfidensintervallet rett ut. Vi bruker Goldmann-kolonnen i klinikkdatasettet ($n=71$).

Konfidensnivået er lett å si feil, så det er verdt å være nøyaktig. Tenk deg at du gjentar hele studien mange ganger – nytt utvalg, nytt gjennomsnitt, nytt intervall hver gang. Et $95\mathrm{\%}$-konfidensintervall er konstruert slik at $95\mathrm{\%}$ av disse intervallene fanger den sanne parameteren, og $5\mathrm{\%}$ bommer. Det er metoden, ikke det enkelte intervallet, som har $95\mathrm{\%}$ treffsikkerhet.

Ofte er størrelsen du vil anslå, ikke et gjennomsnitt, men en andel – andelen syke en test fanger, andelen myope i en populasjon. Her er punktestimatet utvalgsandelen $\widehat{p}$, og det enkleste konfidensintervallet, Wald-intervallet, har samme form som før:

der uttrykket under rottegnet er standardfeilen til en andel. (Den lille $p$ er her en andel, ikke en p-verdi – sammenhengen avgjør, som kapittelboksen varslet.)

Wald-intervallet er greit når $n$ er stort og $\widehat{p}$ ikke ligger nær $0$ eller $1$, men det svikter når tallene er små. Anta at en test fanger $17$ av $20$ syke øyne, altså en sensitivitet på $\widehat{p}=0.85$ – nettopp den slags størrelse seksjonen om diagnostiske tester handlet om. Wald-intervallets øvre grense blir da

en umulig sannsynlighet over $1$. Formelen har brutt sammen fordi normaltilnærmingen ikke holder så nær kanten. Bedre metoder finnes – score-intervallet (Wilson) er den vanligste – og de brukes automatisk av programvare. Funksjonen prop.test() i R gir for $17$ av $20$ intervallet $[\mathrm{\hspace{0.17em}0.61},0.96]$, som pent holder seg innenfor $[0,1]$. Lærdommen er praktisk: regn Wald for hånd for å se strukturen, men stol på programvarens score-intervall når $n$ er lite eller andelen ligger nær en ytterkant.

Den andre store slutningsoppgaven er å avgjøre om en forskjell i dataene er reell eller bare tilfeldig sprik. Formålsspørsmålet er skarpt her: du har sett en forskjell – to instrumenter som spriker, to grupper som skiller seg – og vil vite om den er større enn det tilfeldighetene alene kunne produsert. Det er hva en hypotesetest avgjør.

Apparatet starter med to konkurrerende påstander. Nullhypotesen $H_0$ er utgangspunktet om at det ikke er noen effekt eller forskjell – at de to instrumentene måler likt i snitt (${\mu }_d=0$), at de to gruppene har samme populasjonsgjennomsnitt. Alternativhypotesen $H_1$ er det motsatte: at det finnes en forskjell. Testen stiller de to opp mot hverandre og spør hvor godt dataene passer med $H_0$.

Til det trengs et tall som måler avstanden fra $H_0$: en testobservator. En testobservator (typisk $z$, $t$, ${\chi }^2$ eller $F$, avhengig av spørsmålet) uttrykker hvor langt dataene ligger fra det $H_0$ forutsier, målt i antall standardfeil. Ligger observatoren langt ute i halen av fordelingen den ville hatt om $H_0$ var sann, taler dataene mot $H_0$.

Hvor langt ute er «langt nok»? Det bestemmes av et signifikansnivå $\alpha$, satt på forhånd – konvensjonelt $\alpha =0.05$. $\alpha$ definerer et forkastningsområde: de mest ekstreme utfallene, dem vi ville sett i bare $5\mathrm{\%}$ av tilfellene om $H_0$ var sann. Faller testobservatoren dit, forkaster vi $H_0$. Tallet som gjør dette presist, er p-verdien: sannsynligheten for å få en testobservator minst så ekstrem som den observerte, gitt at $H_0$ er sann. Er , ligger vi i forkastningsområdet, og vi forkaster $H_0$.

P-verdien er blant de mest misforståtte tallene i faget, og to feillesninger må avvises rett ut. P-verdien er ikke sannsynligheten for at $H_0$ er sann, og ikke sannsynligheten for at resultatet «skyldes tilfeldighet». Den er betinget på at $H_0$ er sann – den regner hvor overraskende dataene er under nullhypotesen, ikke hvor sannsynlig nullhypotesen er. Og en stor p-verdi beviser ikke $H_0$; den betyr bare at dataene ikke gir nok grunnlag til å forkaste den. Fravær av bevis mot en forskjell er ikke bevis for at forskjellen er null.

Fordi en test bygger på en terskel, kan den bomme på to måter – og de to feilene er ikke likeverdige. En type I-feil er å forkaste en sann $H_0$: å rope på en forskjell som ikke finnes (falsk alarm). Sannsynligheten for det er nettopp $\alpha$. En type II-feil er å beholde en falsk $H_0$: å overse en forskjell som faktisk finnes. Sannsynligheten for det kalles $\beta$. Det komplementære tallet $1-\beta$ er testens styrke – sannsynligheten for å oppdage en effekt som virkelig er der. Styrken vokser med større effekt, større $n$, høyere $\alpha$ og lavere spredning. For et fast $n$ er det en avveining mellom de to feiltypene: senker du $\alpha$ for å unngå falske alarmer, øker du samtidig $\beta$ og overser flere reelle effekter.

Feiltypene får kjøtt på beina i en klinisk beslutning. Sett nullhypotesen til «pasienten har ikke glaukom». En type I-feil er da å stemple et friskt øye som sykt – unødig henvisning, engstelse og kostnad. En type II-feil er å la et ekte glaukom passere som friskt – ubehandlet, med fortsatt synstap. Husk fra seksjonen om diagnostiske tester at disse to henger direkte sammen med testens egenskaper: type I-feilene svarer til lav spesifisitet (friske som får positivt svar), type II-feilene til lav sensitivitet (syke som får negativt svar). Fordi synstap ved glaukom er irreversibelt, veier en oversett syk (type II) vanligvis tyngre enn en falsk alarm (type I). Derfor velges screeningtester med høy sensitivitet, selv om prisen er flere falske positive – akkurat avveiningen prevalensregnestykket i den seksjonen gjorde konkret.

Dette underavsnittet kan hoppes over ved første gjennomlesning. Før en studie settes i gang, er det verdt å spørre om den i det hele tatt er stor nok til å oppdage en effekt av klinisk interessant størrelse – en styrkeberegning. Man fastsetter $\alpha$ (ofte $0.05$), en ønsket styrke ($1-\beta$, ofte $0.80$) og hvor stor en effekt man vil kunne fange, og løser for $n$. For å oppdage en middels stor effekt (Cohens $d=0.5$, se nedenfor) i en sammenligning av to uavhengige, like store grupper, med tosidig $\alpha =0.05$ og styrke $0.80$, trengs det om lag $64$ pasienter i hver gruppe [189]. Vil du fange en mindre effekt, trengs det brått langt flere. Vi oppgir tallet som motivasjon og går ikke inn i styrkeformelen; poenget er at utvalgsstørrelsen bør planlegges, ikke overlates til tilfeldighetene.

Konfidensintervallet og hypotesetesten er ikke to konkurrerende verktøy, men to uttrykk for det samme. Sammenhengen er presis: en tosidig test på nivå $\alpha$ forkaster $H_0:\mu ={\mu }_0$ hvis og bare hvis $(1-\alpha )$-konfidensintervallet ikke inneholder ${\mu }_0$. For en forskjell eller en effekt er nullverdien $0$: dekker $95\mathrm{\%}$-intervallet for en differanse ikke tallet $0$, er forskjellen signifikant på $5\mathrm{\%}$-nivå – og motsatt. Å sjekke om null ligger i konfidensintervallet er altså nøyaktig den samme avgjørelsen som å sammenligne p-verdien med $\alpha$. Dette er den «KI som inkluderer null»-tolkningen innledningen lovet.

Og konfidensintervallet gir mer enn p-verdien. P-verdien svarer bare ja eller nei på «finnes det en effekt?»; intervallet viser i tillegg hvilken vei effekten går og hvor stor den er. Se det på den parede sammenligningen av to av tonometrene i klinikkdatasettet – Corvis ST mot Goldmann på de samme 71 øynene (i Tillegg A heter Goldmann-kolonnen også GAT). Den parede analysen av differansen Corvis $-$ Goldmann gir middeldifferanse $-2.90\mathrm{mmHg}$, med $95\mathrm{\%}$-KI $[-3.36,-2.44]$ $\mathrm{mmHg}$ og .

Her ligger seksjonens viktigste advarsel. At en forskjell er statistisk signifikant, betyr bare at den neppe er ren tilfeldighet – ikke at den er stor nok til å bety noe for en pasient. De to tingene kan sprike i begge retninger. Med et stort nok utvalg blir selv en klinisk ubetydelig forskjell statistisk signifikant, fordi standardfeilen krymper mot null og den minste avstand fra $H_0$ til slutt havner utenfor forkastningsgrensen. Og med et lite utvalg kan en klinisk viktig forskjell forbli ikke-signifikant, rett og slett fordi det er for få data til å utelukke tilfeldighet.

Derfor skal en p-verdi aldri rapporteres alene. Ved siden av den hører alltid to ting: et konfidensintervall, som viser størrelsesorden, og en effektstørrelse, som tallfester hvor stor effekten er på en skala som ikke blåses opp av $n$. Den vanligste effektstørrelsen for en forskjell mellom to gjennomsnitt er Cohens $d$: differansen mellom gruppegjennomsnittene delt på deres samlede (poolede) standardavvik $s_p$,

Den er enhetsløs – en forskjell målt i antall standardavvik – så den kan sammenlignes på tvers av variabler og studier. Som grove holdepunkter – konvensjoner Cohen selv satte skjønnsmessig – regnes $|d|\approx 0.2$ som en liten effekt, $0.5$ som middels og $0.8$ som stor [189]. (For parede data brukes ofte varianten $d_z=\overline{d}/s_d$, differansens gjennomsnitt delt på dens eget standardavvik.)

De to datasettene gir et lærerikt par: signifikans og effekt følges ad, og grensen $0.05$ er en konvensjon, ikke en naturlov. Vi deler etter samme grense (myop $=$ SER $\le -0.50\mathrm{D}$) i to datasett – aksiallengden i biometridatasettet (de 74 friske voksne som innføres for fullt i neste seksjon) og hornhinnetykkelsen i klinikkdatasettet – og bruker Welch-varianten av t-testen, den R velger når de to gruppene kan ha ulik spredning; den gir brøkdels frihetsgrader, og neste seksjon forklarer den.