Informacja wzajemna

Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarą zależności pomiędzy dwiema zmiennymi losowymi. Zwykle podaje się ją w bitach, co oznacza, że wylicza się ją przy użyciu logarytmów o podstawie 2.

Intuicyjnie informacja wzajemna mierzy, ile informacji o X można poznać, znając Y, czyli o ile poznanie jednej z tych zmiennych zmniejsza niepewność o drugiej. Jeśli zmienne X i Y są niezależne, to ich wzajemna informacja jest zerowa (znajomość jednej nie mówi niczego o drugiej). Jeśli X i Y są identyczne, to każda zawiera pełną wiedzę o drugiej. Wtedy informacja wzajemna jest równa entropii X (albo Y – skoro są identyczne, to ich entropia jest taka sama).

Definicja

Formalnie informacja wzajemna między dwiema dyskretnymi zmiennymi losowymi X i Y może być zdefiniowana jako:

gdzie p(x,y) oznacza wspólny rozkład prawdopodobieństwa (ang. joint probability distribution) X i Y, a p(x) i p(y) oznaczają prawdopodobieństwa w rozkładach zmiennych X i Y.

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa dwóch zmiennych, a p(x) i p(y) są gęstościami prawdopodobieństwa X i Y.

Informacja wzajemna jest zerowa wtedy i tylko wtedy, gdy zmienne X i Y są niezależne. Łatwo zauważyć implikację w jedną stronę: jeśli są niezależne, to a więc:

Powiązania z innymi funkcjami

Informację wzajemną można zdefiniować równoznacznie jako:

gdzie H(X) i H(Y) oznaczają entropie, H(X|Y) i H(Y|X) oznaczają entropie warunkowe, a H(X,Y) entropię produktową.

Warto zauważyć że a więc Podobnie jeśli Y jest funkcją X, to znajomość X determinuje wartość Y, i wtedy

Zastosowanie informacji wzajemnej

W wielu zastosowaniach ważne jest maksymalizowanie informacji wzajemnej, co często oznacza minimalizowanie entropii warunkowej. Przykłady: