Tilastollinen merkitsevyys – määritelmä ja hypoteesitestaus

Tilastossa käytetään muuttujia kuvaamaan mittausta. Tällainen muuttuja kutsutaan merkitseväksi, jos todennäköisyys, että sen tulos on saatu sattumalta, on pienempi kuin tietty arvo. Merkitsevyyden tarkistamiseen käytetään tilastollisia hypoteesitestejä. Merkitsevyys ei kuitenkaan yksin kerro, kuinka suuri tai käytännön merkityksellinen havaittu ero on: se kertoo vain, kuinka epätodennäköinen havainto olisi, jos tutkittava nollahypoteesi olisi tosi.

Mitä tilastollinen merkitsevyys tarkoittaa?

Tilastollinen merkitsevyys tarkoittaa, että havaittu tulos poikkeaa siitä, mitä odotettaisiin sattuman vaikutuksesta nollahypoteesin vallitessa. Tämä arvioidaan usein p-arvon avulla: p-arvo on todennäköisyys saada yhtä tai enemmän poikkeava tulos kuin havaittu, olettaen että nollahypoteesi pitää paikkansa. Pieni p-arvo viittaa siihen, että havainnot ovat epätodennäköisiä nollahypoteesin alla.

P-arvo ja merkitsevyystaso

P-arvoa verrataan etukäteen asetettuun merkitsevyystasoon (yleensä merkitty α). Jos p < α, nollahypoteesi voidaan hylätä. Yleisimmin käytetty α-arvo on 0,05, mutta se on arbiträäri eikä sovi kaikkiin tilanteisiin.

P-arvon tulkinta: p-arvo ei ole todennäköisyys, että nollahypoteesi on tosi; se ilmaisee havaintojen yhteensopivuutta nollahypoteesin kanssa.
Merkitsevyystaso (α): ennalta asetettu raja, jonka alittuminen johtaa nollahypoteesin hylkäykseen. Tyypillisiä arvoja ovat 0,05, 0,01 ja 0,10.

Hypoteesitestaus: nolla- ja vaihtoehtoinen hypoteesi

Hypoteesitestissä asetetaan nollahypoteesi (esim. "kaksi ryhmää ei eroa") ja vaihtoehtoinen hypoteesi (esim. "ryhmät eroavat"). Testissä lasketaan testisuure (esim. t- tai z-arvo), josta saadaan p-arvo. Testi voi olla yhden- tai kaksisuuntainen riippuen siitä, halutaanko huomioida poikkeamat vain yhteen suuntaan vai molempiin suuntiin.

Virhelajit ja testin teho

Hypoteesitestauksessa esiintyy kahdenlaisia virheitä:

Tyypin I virhe (α): nollahypoteesin virheellinen hylkäys (vääryshälytys).
Tyypin II virhe (β): nollahypoteesin virheellinen säilyttäminen silloin, kun vaihtoehtoinen hypoteesi on tosi (havaintojen missaaminen).

Testin teho (1 − β) on todennäköisyys havaita todellinen vaikutus. Teho riippuu vaikutuksen suuruudesta (effect size), otoskoosta, merkitsevyystasosta ja aineiston varianssista.

Käytännön seikat ja suositukset

Ilmoita p-arvot tarkasti: raportoi itse p-arvo (esim. p = 0,032), älä pelkästään sitä, onko p<0,05.
Raportoi vaikutuksen suuruus: käytännön merkityksen arviointiin tarvitaan effect size -mittareita ja luottamusvälit, ei pelkkä merkitsevyys.
Luottamusvälit: tarjoavat arvion estimaatin epävarmuudesta ja täydentävät p-arvoa.
Esirekisteröinti ja korjaukset monikertaiseen testaamiseen: etukäteen rekisteröinti ja Bonferroni- tai muut korjaukset vähentävät väärien positiivisten tulosten riskiä, kun tehdään useita testejä.
Vältä dikotomista ajattelua: p-arvon ympärillä oleva raja (esim. 0,05) on käytännöllinen mutta keinotekoinen — tulokset kannattaa tulkita kokonaisuuden, efektin koon ja luottamusvälien valossa.

Historiallinen tausta

Tilastollisen merkitsevyyden käsitteen loi Ronald Fisher, kun hän kehitti vuonna 1925 julkaisussaan Statistical Methods for Research Workers (Tilastolliset menetelmät tutkijoille) tilastollisen hypoteesin testauksen, jota hän kuvasi "merkitsevyystesteiksi". Fisher ehdotti nollahypoteesin hylkäämiselle sopivaksi raja-arvoksi todennäköisyyttä yksi kahdestakymmenestä (0,05). Jerzy Neyman ja Egon Pearson suosittelivat vuonna 1933 julkaisemassaan artikkelissa, että merkitsevyystaso (esim. 0,05), jota he kutsuivat nimellä α, asetettaisiin etukäteen, ennen tietojen keruuta.

Vaikka Fisher alun perin ehdotti merkitsevyystasoksi 0,05:tä, hän ei tarkoittanut tämän raja-arvon olevan kiinteä, ja vuonna 1956 julkaistussa julkaisussaan Statistical methods and scientific inference hän suositteli, että merkitsevyystasot asetettaisiin erityisolosuhteiden mukaan. Nykyisin tutkijat käyttävät p-arvoja ja merkitsevyyttä harkitummin, ja suosituksia korostetaan raportoinnin avoimuudesta, efektikoon ilmoittamisesta ja tulosten replikoinnista.

Yhteenveto

Tilastollinen merkitsevyys on työkalu, joka auttaa arvioimaan, onko havaittu ilmiö todennäköisesti sattumaa vai kenties todellinen ilmiö. Sen käyttö edellyttää ymmärrystä p-arvosta, merkitsevyystasosta, virhelajeista ja testin tehosta. Käytännössä merkitsevyys tulisi yhdistää vaikutuksen suuruuden ja epävarmuuden arviointiin sekä hyvään tutkimuskäytäntöön, kuten etukäteiseen suunnitteluun ja avoimeen raportointiin.

Kysymyksiä ja vastauksia

K: Mikä on tilastollisesti merkitsevä muuttuja?

A: Muuttuja on tilastollisesti merkitsevä, jos todennäköisyys, että muuttujan tulos (tai äärimmäisempi tulos) saavutetaan tietyssä status quo -olettamuksessa, on pienempi kuin tietty arvo.

K: Mihin tilastollista merkitsevyyttä käytetään?

V: Tilastollista merkitsevyyttä käytetään kokeellisen tuloksen epätodennäköisyyden määrittämiseen, kun tietyn status quo -oletuksen oletetaan olevan totta.

K: Mihin käytetään tilastollisia hypoteesitestejä?

V: Tilastollisia hypoteesitestejä käytetään merkitsevyyden tarkistamiseen.

K: Kuka loi tilastollisen merkitsevyyden käsitteen?

V: Ronald Fisher loi tilastollisen merkitsevyyden käsitteen vuonna 1925 julkaisussaan Statistical Methods for Research Workers, jossa hän kehitti tilastollisen hypoteesitestauksen.

K: Mitä raja-arvoa Fisher ehdotti nollahypoteesin hylkäämiseksi?

V: Fisher ehdotti nollahypoteesin hylkäämiseen sopivaksi raja-arvoksi todennäköisyyttä yksi kahdestakymmenestä (0,05 tai 5 %).

K: Kuka suositteli, että merkitsevyystaso asetetaan ennen tiedonkeruuta?

V: Jerzy Neyman ja Egon Pearson suosittelivat, että merkitsevyystaso (esimerkiksi 0,05), jota he kutsuivat α:ksi, asetetaan ennen tiedonkeruuta.

K: Tarkoittiko Fisher, että raja-arvo 0,05 olisi kiinteä?

V: Ei, Fisher ei tarkoittanut tätä raja-arvoa kiinteäksi. Vuonna 1956 julkaistussa julkaisussaan Statistical methods and scientific inference hän suositteli, että merkitsevyystasot asetetaan erityisolosuhteiden mukaan.