Koncept informacijske entropije podrazumijeva negativan logaritam funkcije mase vjerojatnosti za vrijednost. Dakle, kada izvor podataka ima vrijednost s manjom vjerojatnošću (tj. kada se dogodi događaj s malom vjerojatnošću), događaj nosi više "informacija" ("iznenađenja") nego kada izvorni podaci imaju vrijednost s većom vjerojatnošću.
Količina informacija koju prenosi svaki događaj definiran na ovaj način postaje slučajna varijabla čija je očekivana vrijednost entropija informacije. Općenito, entropija se odnosi na nered ili nesigurnost, a njezina definicija korištena u teoriji informacija izravno je analogna onoj korištenoj u statističkoj termodinamici. Koncept IE uveo je Claude Shannon u svom radu iz 1948. "Matematička teorija komunikacije". Odatle dolazi izraz "Shannonova informacijska entropija".
Definicija i sustav
Osnovni model sustava za prijenos podataka sastoji se od tri elementa: izvora podataka, komunikacijskog kanala i prijemnika,i, kako Shannon kaže, "osnovni komunikacijski problem" je da prijemnik može identificirati koje je podatke generirao izvor na temelju signala koji prima preko kanala. Entropija pruža apsolutno ograničenje na najkraću moguću prosječnu duljinu kodiranja bez gubitaka komprimiranih izvornih podataka. Ako je entropija izvora manja od propusnosti komunikacijskog kanala, podaci koje on generira mogu se pouzdano prenijeti do prijemnika (barem u teoriji, možda zanemarujući neka praktična razmatranja kao što je složenost sustava potrebnog za prijenos podataka i količinu vremena potrebnog za prijenos podataka).
Informacijska entropija se obično mjeri u bitovima (alternativno nazvanim "shannons") ili ponekad u "prirodnim jedinicama" (nats) ili decimalnim mjestima (nazvanim "dits", "bans" ili "hartleys"). Mjerna jedinica ovisi o bazi logaritma koji se koristi za određivanje entropije.
Svojstva i logaritam
Distribucija log vjerojatnosti korisna je kao mjera entropije jer je aditivna za nezavisne izvore. Na primjer, entropija fer oklade novčića je 1 bit, dok je entropija m-volumena m bita. U jednostavnom prikazu, log2(n) bitova su potrebni za predstavljanje varijable koja može poprimiti jednu od n vrijednosti ako je n stepen 2. Ako su te vrijednosti jednako vjerojatne, entropija (u bitovima) je jednak tom broju. Ako je jedna od vrijednosti vjerojatnija od ostalih, opaža se da jestznačenja, manje je informativan nego da bi se dogodio neki manje opći rezultat. S druge strane, rjeđi događaji pružaju dodatne informacije o praćenju.
Budući da je promatranje manje vjerojatnih događaja rjeđe, nema ničeg zajedničkog da je entropija (koja se smatra prosječnom informacijom) dobivena iz neravnomjerno raspoređenih podataka uvijek manja ili jednaka log2(n). Entropija je nula kada je definiran jedan rezultat.
Shannonova informacijska entropija kvantificira ova razmatranja kada je poznata distribucija vjerojatnosti temeljnih podataka. Značenje promatranih događaja (značenje poruka) je irelevantno u definiciji entropije. Potonji uzima u obzir samo vjerojatnost viđenja određenog događaja, tako da su informacije koje sadrži podaci o temeljnoj raspodjeli mogućnosti, a ne o značenju samih događaja. Svojstva informacijske entropije ostaju ista kao što je gore opisano.
Teorija informacija
Osnovna ideja teorije informacija je da što više netko zna o nekoj temi, manje informacija može dobiti o njoj. Ako je događaj vrlo vjerojatan, nije iznenađujuće kada se dogodi i stoga pruža malo novih informacija. S druge strane, ako je događaj bio nevjerojatan, mnogo je informativnije da se događaj dogodio. Stoga je nosivost rastuća funkcija inverzne vjerojatnosti događaja (1 / p).
Sada ako se dogodi više događaja, entropijamjeri prosječni sadržaj informacija koji možete očekivati ako se dogodi neki od događaja. To znači da bacanje kocke ima više entropije od bacanja novčića jer svaki ishod kristala ima manju vjerojatnost od ishoda svakog novčića.
Značajke
Dakle, entropija je mjera nepredvidivosti stanja ili, što je isto, prosječnog sadržaja informacija. Da biste dobili intuitivno razumijevanje ovih pojmova, razmotrite primjer političke ankete. Obično se takve ankete događaju jer rezultati, primjerice, izbora još nisu poznati.
Drugim riječima, rezultati ankete su relativno nepredvidivi, a zapravo, njeno provođenje i ispitivanje podataka daje neke nove informacije; oni su samo različiti načini da se kaže da je prethodna entropija rezultata ankete velika.
Sada razmotrite slučaj kada se ista anketa izvodi drugi put ubrzo nakon prvog. Budući da je rezultat prvog istraživanja već poznat, rezultati drugog istraživanja mogu se dobro predvidjeti i rezultati ne bi trebali sadržavati puno novih informacija; u ovom slučaju, a priori entropija drugog rezultata ankete je mala u usporedbi s prvim.
Bacanje novčića
Sada razmotrite primjer bacanja novčića. Uz pretpostavku da je vjerojatnost repova ista kao i vjerojatnost glava, entropija bacanja novčića je vrlo visoka, jer je to osebujan primjer informacijske entropije sustava.
To je zatoda je nemoguće predvidjeti da je ishod novčića bačen prije vremena: ako moramo birati, najbolje što možemo učiniti je predvidjeti da će novčić sletjeti na repove, a to će predviđanje biti točno s vjerojatnošću od 1 / 2. Takvo bacanje novčića ima jedan bit entropije, budući da postoje dva moguća ishoda koja se dogode s jednakom vjerojatnošću, a proučavanje stvarnog ishoda sadrži jedan bit informacije.
Naprotiv, bacanje novčića koristeći obje strane s repovima i bez glave ima nultu entropiju jer će novčić uvijek pasti na ovaj znak i ishod se može savršeno predvidjeti.
Zaključak
Ako je shema kompresije bez gubitaka, što znači da uvijek možete oporaviti cijelu izvornu poruku dekompresijom, tada komprimirana poruka ima istu količinu informacija kao izvorna, ali se prenosi u manje znakova. To jest, ima više informacija ili veću entropiju po znaku. To znači da komprimirana poruka ima manje suvišnosti.
Ugrubo govoreći, Shanonov teorem kodiranja izvornog koda kaže da shema kompresije bez gubitaka ne može u prosjeku smanjiti poruke tako da imaju više od jednog bita informacije po bitu poruke, ali se može postići bilo koja vrijednost manja od jednog bita informacije po bitu poruke koje koriste odgovarajuću shemu kodiranja. Entropija poruke u bitovima puta njezina duljina mjera je koliko općih informacija sadrži.
