Ilość informacji

Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu)^[1]. Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

Miary ilości informacji

1. Ilość informacji otrzymanej przy zajściu zdarzenia ${\displaystyle x_{i}}$ (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):

${\displaystyle I_{i}=h_{i}=\log _{r}{\frac {1}{p_{i}}}=-\log _{r}{p_{i}},}$

gdzie:

${\displaystyle I_{i}}$ – ilość informacji otrzymanej przy zajściu zdarzenia ${\displaystyle x_{i},}$

${\displaystyle p_{i}}$ – prawdopodobieństwo zajścia zdarzenia ${\displaystyle x_{i},}$

${\displaystyle r}$ – podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie ${\displaystyle r=2,}$ wówczas jednostką informacji jest bit (szanon^[2]). Przy ${\displaystyle r}$ = e jednostką jest nat (nit), natomiast przy ${\displaystyle r}$ = 10 – dit (hartley).

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru ${\displaystyle n}$ zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń^[3] (Shannon 1948):

${\displaystyle H(X)=\sum _{i=1}^{n}p_{i}\log _{r}{\frac {1}{p_{i}}}=-\sum _{i=1}^{n}p_{i}\log _{r}{p_{i}},}$

gdzie:

${\displaystyle H(X)}$ – entropia bezwarunkowa zbioru X,

${\displaystyle n}$ – liczba zdarzeń w zbiorze,

${\displaystyle p_{i}}$ – prawdopodobieństwo zajścia zdarzenia ${\displaystyle x_{i}.}$

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y)^[4][5]:

${\displaystyle I(X;Y)=H(X)-H(X|Y),}$

gdzie:

${\displaystyle I(X;Y)}$ – informacja wzajemna Y o X,

${\displaystyle H(X)}$ – entropia bezwarunkowa zbioru (zmiennej) X,

${\displaystyle H(X|Y)}$ – entropia warunkowa X pod warunkiem Y.

Innymi słowy, ${\displaystyle I(X:Y)}$ dotyczy informacji dostarczonej przez zmienną ${\displaystyle Y}$ o zmiennej ${\displaystyle X.}$

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera ${\displaystyle (H(X|Y)=0),}$ ilość przekazanej informacji jest równa entropii źródła ${\displaystyle I(X;Y)=H(X).}$ Także ${\displaystyle I(X;X)=H(X)}$ (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż ${\displaystyle H(X|X)=0.}$

Przypisy