Bayesin teoreema: ehdollinen todennäköisyys ja todisteiden päättely
Bayesin teoreema: selkeä opas ehdolliseen todennäköisyyteen ja todisteiden päättelyyn, esimerkit ja sovellukset data-analyysissä ja päätöksenteossa.
Todennäköisyysteoriassa ja sovelluksissa Bayesin teoreema osoittaa ehdollisen todennäköisyyden ja sen käänteisen muodon välisen suhteen. Esimerkiksi hypoteesin todennäköisyys joidenkin havaittujen todisteiden perusteella ja todisteiden todennäköisyys hypoteesin perusteella. Tämä teoreema on nimetty Thomas Bayesin (/ˈbeɪz/ tai "bays") mukaan, ja sitä kutsutaan usein Bayesin laiksi tai Bayesin säännöksi.
Mitä Bayesin teoreema sanoo
Yksinkertaisessa muodossaan Bayesin teoreema antaa kaavan ehdolliselle todennäköisyydelle:
P(H|E) = P(E|H) · P(H) / P(E)
Missä
- P(H|E) on posterioritodennäköisyys: hypoteesin H todennäköisyys, kun todisteet E ovat havaitut.
- P(E|H) on likelihood eli todisteiden todennäköisyys hypoteesin H vallitessa.
- P(H) on prior: hypoteesin ennakkotodennäköisyys ennen E-havaintoa.
- P(E) on marginaalitodennäköisyys (todennäköisyys havainnoille), usein laskettavissa summana tai integraalina kaikista mahdollisista hypoteeseista.
Esimerkki: lääketieteellinen testi
Kuvitellaan sairauden esiintyvyys (prevalenssi) on 1 %: P(D) = 0,01. Testi on herkkyydeltään 99 % (P(+|D) = 0,99) ja spesifisyydeltään 95 % (P(-|¬D) = 0,95, joten virhepositiivisuus P(+|¬D) = 0,05). Mikä on todennäköisyys sairaudelle, jos testi on positiivinen?
Käyttämällä Bayesia:
P(D|+) = P(+|D) P(D) / [P(+|D) P(D) + P(+|¬D) P(¬D)] = (0,99·0,01) / (0,99·0,01 + 0,05·0,99) ≈ 0,167.
Tuloksena positiivisen testin jälkeen sairauden todennäköisyys on noin 16,7 %, eli vaikka testi on hyvä, harvinainen tauti johtaa usein edelleen suureen osaan vääriä hälytyksiä — se on klassinen Bayesin teoreeman käytännön havainnollistus.
Käytännön käsitteitä ja laajennuksia
- Jatkuvat jakaumat: Bayesin menetelmiä käytetään myös jatkuville parametreille, jolloin summan sijasta käytetään integraalia ja tiheitä.
- Konjugaattiset prioreet: Valitsemalla priorin, joka on konjugaatti likelihoodin kanssa, saadaan posteriorille sama perhe ja usein suljettu muoto, mikä helpottaa laskentaa.
- MAP-estimaatti: Maksimi-a-posteriori (MAP) on posteriorin huippuarvo, vastaava pisteestimaatti.
- Bayesilainen epävarmuus: Posteriorijakauma antaa koko epävarmuuden määrän parameterista, ei vain yksittäistä pistettä.
- Luottamusvälin sijasta credible interval: Bayesilainen interval-tulkinta on suoraviivainen: esimerkiksi 95 % credible interval sisältää parametrin 95 % todennäköisyydellä posteriorin mukaisesti.
Laskennalliset menetelmät
Usein posteriorin analyysi ei ole analyyttisesti ratkaistavissa, jolloin käytetään numeerisia menetelmiä:
- MCMC (Markov chain Monte Carlo) — tuottaa näytteitä posteriorijakaumasta.
- Importance sampling ja sequential Monte Carlo — näytteiden painottamista ja päivitystä.
- Variational inference — approksimoi posteriorin optimoimalla yksinkertaisemman jakauman.
Sovelluksia
- Luokittelu ja koneoppiminen (esim. Naive Bayes-luokitin).
- Diagnostiikka ja lääketieteellinen päätöksenteko.
- Bayesilainen verkostoanalyysi ja syy-seurausmallit.
- Signaalinkäsittely, paikannus ja sensorifuusio.
- A/B-testaukset ja jatkuva oppiminen päätöksenteossa.
Vahvuudet ja rajoitukset
Bayesin teoreema antaa johdonmukaisen tavan päivittää uskomuksia uusien todisteiden perusteella ja ottaa huomioon aiempitiedon. Sen käytännön haasteita ovat priorin valinta (voi vaikuttaa tuloksiin erityisesti vähän dataa sisältävissä tapauksissa) ja laskennallinen monimutkaisuus suurissa tai monimutkaisissa malleissa.
Lyhyt yhteenveto
Bayesin teoreema on perusta bayesilaiselle päättelylle: se yhdistää priorin ja havaintojen kautta saadun tiedon posterioriksi. Se on sekä matemaattinen kaava että filosofinen tapa tulkita todennäköisyyksiä mielipiteiden tai uskottavuuksien mittana, ja se on laajasti käytössä tilastotieteessä, koneoppimisessa ja monilla sovellusalueilla.
Kaava
Käytetty yhtälö on:
Missä:
- P(A) on A:n ennakkotodennäköisyys tai rajatodennäköisyys. Se on "ennakkotodennäköinen" siinä mielessä, että siinä ei oteta huomioon mitään tietoa B:stä.
- P(A|B) on A:n ehdollinen todennäköisyys, kun B on annettu. Sitä kutsutaan myös jälkitodennäköisyydeksi, koska se on johdettu B:n määritellystä arvosta (tai riippuu siitä).
- P(B|A) on B:n ehdollinen todennäköisyys A:n suhteen. Sitä kutsutaan myös todennäköisyydeksi.
- P(B) on B:n ennakko- tai rajatodennäköisyys, ja se toimii normalisoivana vakiona.
Monissa skenaarioissa P(B) lasketaan epäsuorasti kaavalla , joka yksinkertaisesti sanoo, että B:n todennäköisyys on ehdollisten todennäköisyyksien summa, joka perustuu siihen, onko A tapahtunut vai ei.
Esimerkki
Yksinkertainen esimerkki on seuraava: Sunnuntaina on 40 prosentin sateen mahdollisuus. Jos sunnuntaina sataa, maanantaina sataa 10 % todennäköisyydellä. Jos sunnuntaina ei sada, maanantaina sataa 80 prosentin todennäköisyydellä.
"Sunnuntaina sataa" on tapahtuma A, ja "maanantaina sataa" on tapahtuma B.
- P( A ) = 0,40 = Sateen todennäköisyys sunnuntaina.
- P( A` ) = 0,60 = Todennäköisyys, että sunnuntaina ei sada.
- P( B | A ) = 0,10 = Sateen todennäköisyys maanantaina, jos sunnuntaina satoi.
- P( B` | A ) = 0,90 = Todennäköisyys, että maanantaina ei sada, jos sunnuntaina satoi.
- P( B | A` ) = 0,80 = Sateen todennäköisyys maanantaina, jos sunnuntaina ei satanut.
- P( B` |A` ) = 0,20 = Todennäköisyys, että maanantaina ei sada, jos sunnuntaina ei satanut.
Ensimmäinen asia, jonka normaalisti laskisimme, on todennäköisyys sille, että maanantaina sataa: Tämä on summa todennäköisyyksistä "Sata sunnuntaina ja sataa maanantaina" ja "Ei sadetta sunnuntaina ja sataa maanantaina":
mahdollisuus
Jos meitä kuitenkin pyydettiin laskemaan todennäköisyys sille, että sunnuntaina satoi, kun otetaan huomioon, että maanantaina satoi, Bayesin teoreema astuu kuvaan. Sen avulla voimme laskea aikaisemman tapahtuman todennäköisyyden, kun otetaan huomioon myöhemmän tapahtuman tulos.
Käytetty yhtälö on:
Tapauksessamme "Sade sunnuntaina" on tapahtuma A ja "Sade maanantaina" on tapahtuma B.
- P(B|A) = 0,10 = Sateen todennäköisyys maanantaina, jos sunnuntaina satoi.
- P(A) = 0,40 = Sateen todennäköisyys sunnuntaina.
- P(B) = 0,52 = Sateen todennäköisyys maanantaina.
Lasketaan siis todennäköisyys sille, että sunnuntaina satoi, kun otetaan huomioon, että maanantaina satoi, kaavalla:
tai:
Toisin sanoen, jos maanantaina satoi, sunnuntaina satoi 7,69 prosentin todennäköisyydellä.
Intuitiivinen selitys
Lasketaan todennäköisyys sille, että sunnuntaina satoi, kun otetaan huomioon, että maanantaina satoi, seuraavasti:
- Tiedämme, että maanantaina satoi. Näin ollen kokonaistodennäköisyys on P(B).
- Todennäköisyys, että sunnuntaina satoi, on P(A).
- Todennäköisyys sille, että maanantaina satoi, kun otetaan huomioon, että sunnuntaina satoi, on P(B|A).
- Todennäköisyys, että sunnuntaina sataa ja maanantaina sataa, on P(A)*P(B|A).
- Näin ollen kokonaistodennäköisyys sille, että sunnuntaina satoi, kun otetaan huomioon, että maanantaina satoi, on todennäköisyys sille, että sunnuntaina ja maanantaina satoi, jaettuna todennäköisyydellä sille, että maanantaina satoi.
Siksi,
Toinen tapa nähdä tämä, joka osoittaa, mistä Bayesin teoreema on peräisin, on tarkastella todennäköisyyttä P(AB), että sataa sekä sunnuntaina että maanantaina. Tämä voidaan laskea kahdella eri tavalla, jotka antavat saman vastauksen P(AB):lle:
Tässä suhteessa Bayesin teoreema on vain toinen tapa kirjoittaa tämä yhtälö.
Aiheeseen liittyvät sivut
- Bayesilainen todennäköisyys
- Bayesin verkko
Kysymyksiä ja vastauksia
K: Mikä on Bayesin teoreema?
V: Bayesin teoreema on matemaattinen kaava, joka osoittaa ehdollisen todennäköisyyden ja sen käänteismuodon välisen suhteen.
K: Kuka oli Thomas Bayes?
A: Thomas Bayes oli 1700-luvun brittiläinen matemaatikko, joka kehitti tämän todennäköisyysteoriaan ja sovelluksiin liittyvän lauseen.
K: Miten teoreemaa käytetään?
V: Lauseketta käytetään hypoteesin todennäköisyyden laskemiseen, kun otetaan huomioon jotkin havaitut todisteet, sekä kyseisen todisteen todennäköisyyden laskemiseen, kun otetaan huomioon hypoteesi.
K: Millä muilla nimillä tätä teoreemaa kutsutaan?
V: Tämä teoreema tunnetaan myös nimellä Bayesin laki tai Bayesin sääntö.
K: Milloin Thomas Bayes kehitti tämän lauseen?
V: Thomas Bayes kehitti tämän lauseen 1700-luvulla työskennellessään todennäköisyysteorian ja sovellusten parissa.
K: Miten lausutaan "Bayes"?
V: "Bayes" lausutaan /ˈbeɪz/ tai "bays".
Etsiä