Keskinäinen informaatio
Keskinäinen informaatio mittaa, kuinka paljon enemmän tiedetään yhdestä satunnaisarvosta, kun sille annetaan toinen arvo. Esimerkiksi tietämällä satunnaisen vuodenpäivän lämpötilan ei voi paljastaa, mikä kuukausi on kyseessä, mutta se antaa jonkinlaisen vihjeen. Samoin tieto siitä, mikä kuukausi on, ei paljasta tarkkaa lämpötilaa, mutta tekee tietyt lämpötilat todennäköisemmiksi tai epätodennäköisemmiksi. Nämä vihjeet tai todennäköisyyden muutokset selitetään ja mitataan keskinäisellä informaatiolla.
Keskinäisen informaation laskeminen
Tarvittavat tiedot
Keskinäisen informaation laskemiseksi tarvitaan kaikkien mahdollisten tapahtumien todennäköisyys (mahdollisuus) ja todennäköisyys, että ne tapahtuvat samanaikaisesti. Esimerkiksi kuukauden ja lämpötilan keskinäisen informaation mittaamiseksi meidän on tiedettävä, kuinka monena päivänä vuodessa on 10 astetta, kuinka monena päivänä vuodessa on maaliskuu ja kuinka monena päivänä maaliskuussa on 10 astetta.
Kaava
Kaava edellyttää useiden termien tai lukujen yhteenlaskemista tai laskemista. Jokaisella mahdollisella lopputuloksella on oma terminsä. Edellä esitetystä kuukauden ja lämpötilan välisen keskinäisen informaation laskennasta käytämme seuraavia muuttujia:
- p(x,y) = todennäköisyys sille, että kuukaudessa y on x astetta celsiusta.
- t(x) = todennäköisyys sille, että lämpötila on x astetta Celsiusta (minä tahansa päivänä vuodesta).
- m(y) = todennäköisyys, että kyseessä on kuukausi y.
Tämä tarkoittaa, että m(3) on yhtä suuri kuin todennäköisyys sille, että satunnaisesti valittu päivä on maaliskuussa. Tämä on 31/365 eli noin 0,085, koska vuoden 365 päivästä 31 on maaliskuussa.
Yksi termi olisi seuraava:
p ( x , y ) log ( p ( x , y ) t ( x ) m ( y ) ) ) {\displaystyle p(x,y)\log {\left({\frac {p(x,y)}{t(x)m(y)}}\right)}\,\! } 
Tässä kaavassa "log" tarkoittaa logaritmia.
Kun kaikki mahdolliset termit lasketaan yhteen, saadaan keskinäisen informaation arvo.
Keskinäisen informaation ymmärtäminen
Mahdolliset arvot
Mitä suurempi keskinäinen informaatio on, sitä enemmän saat tietää yhdestä satunnaisarvosta (esim. kuukausi), kun kerrot toisesta arvosta (esim. lämpötila).
- Jos keskinäinen informaatio on nolla, et voi määrittää mitään yhdestä arvosta, kun annat toisen arvon.
- Esimerkiksi se, että tiedät, saitko viimeksi kolikonheitossa kruunaa vai klaavaa, ei kerro mitään siitä, mitä tapahtuu seuraavalla kerralla.
- Jos keskinäinen informaatio on pientä, keskinäistä informaatiota ei välttämättä ole lainkaan. Joskus satunnaistapahtumilla näyttää olevan kuvio lyhyellä aikavälillä, mutta kaiken kaikkiaan keskinäistä informaatiota ei ole.
- Jos keskinäinen informaatio on suuri, kahden tarkasteltavan asian välillä on todennäköisesti jokin yhteys.
- Koska lämpötila ja kuukausi ovat yhteydessä toisiinsa, niiden keskinäinen informaatio olisi paljon suurempi kuin nolla.
- Ei ole helppoa tietää, onko keskinäinen informaatio merkittävää tai suurta.
- Jos keskinäinen informaatio on yksi, yhden arvon tunteminen kertoo täsmälleen toisen arvon.
- Jos esimerkiksi luokassa valitaan satunnainen pulpetti, opettaja voi tietää tarkalleen, mikä oppilas istuu siinä. Kun tiedetään, mikä pulpetti on valittu, tiedetään tarkalleen, mikä oppilas on liitetty siihen.
Tärkeitä tietoja
Keskinäinen informaatio ei muutu sen mukaan, kumpi kahdesta satunnaisarvosta paljastuu. Tämä tarkoittaa, että tiedämme yhtä paljon lämpötilasta, kun meille kerrotaan kuukausi, kuin tiedämme kuukaudesta, kun meille kerrotaan lämpötila.
Keskinäistä tietoa on vaikea verrata. Jos laskemme keskinäisen informaation säälle ja toisen arvon korttipelille, näitä kahta arvoa ei voi helposti verrata toisiinsa.
Aiheeseen liittyvät sivut
- Tietoteoria
