Informacja Fishera

Informacja Fishera – miara ilości informacji o jednym lub wielu nieznanych parametrach jaką niesie obserwowalna związana z nimi zmienna losowa [1]. Może być rozumiana jako średnia dokładność oszacowania, jaką daje obserwacja danych – tj. wartość oczekiwana brzegowej wiarygodności estymatora parametru względem obserwacji danych W przypadku jednego parametru i zmiennej ciągłej, oraz przy założeniu określonego statystycznego modelu ich wzajemnej zależności wyraża ją równanie:

Jest to więc druga pochodna, czyli pochodna gradientu funkcji prawdopodobieństwa, pozwalająca wyrazić szybkość jego zmian przy jej maksimum. Innymi słowy, informacja Fishera opisuje jak bardzo rozkład wiarygodności estymatora parametru względem obserwacji zmiennej losowej jest skupiony blisko maksimum, czyli jaką wariancją się cechuje.

Dla porównania, entropia Shannona wyraża globalny średni przyrost informacji, jaką daje obserwacja danych, w estymatorze histogramowym przyjmując postać:

Ronald Fisher opisał informację Fishera także jako wewnętrzną dokładność krzywej błędu (intrinsic accuracy of an error curve)[1]. W przypadku wielu parametrów jej wynik ma postać macierzy Hessego. Ma postaci zarówno dla zmiennych ciągłych, jak i dyskretnych.

Miara ta występuje w wielu obszarach matematyki, statystyki i teorii informacji[2], w szczególności stanowi główną część nierówności Craméra-Rao. Zasada nieoznaczoności Heisenberga może być traktowana jako szczególny przypadek minimum Craméra-Rao[3], a oba wzory opierają się o nierówność Cauchy’ego-Schwarza. Entropię Shannona i informację Fishera, oraz inne miary informacji łączy tożsamość de Bruijna[4][5] i dywergencja Kullbacka-Leiblera.

Obliczanie

Informacja Fishera dla głównych rozkładów prawdopodobieństwa może być wyprowadzona analitycznie. Inne przypadki można oszacowywać np. przy pomocy metod Monte Carlo[6][7].

Rozkład zero-jedynkowy

Dla rozkładu zero-jedynkowego (Bernoulliego) informacja Fishera to:

Rozkład normalny

Dla jednowymiarowego rozkładu normalnego (Gaussa) informacja Fishera wynosi:

Wielowymiarowy rozkład normalny

Dla wielowymiarowego rozkładu normalnego informacja Fishera to:

Wyprowadzenie

Równoważność dwóch form informacji Fishera dla jednego parametru i ciągłej zmiennej można wyprowadzić z użyciem reguły Leibniza (zakładając potrzebne warunki regularności), zaczynając od różniczkowania poniższej tożsamości[8][9] po parametrze

Czego rezultatem jest:

W następnych przekształceniach:

Pochodna jest nazywana funkcją wynikową, a informacja Fishera jest zdefiniowana jako jej wariancja, czyli:

Nierówność Craméra-Rao

Nierówność Craméra-Rao wyraża odwrotną zależność pomiędzy wariancją estymatora parametru a informacją Fishera estymatora, w przypadku skalarnym:

Przypisy

  1. a b Ronald Ayler Fisher, Theory of Statistical Estimation, „Mathematical Proceedings of the Cambridge Philosophical Society”, 22 (5), 1925, s. 700–725, DOI10.1017/S0305004100009580, ISSN 1469-8064 [dostęp 2017-01-16].
  2. Alexander Ly i inni, A Tutorial on Fisher information, „Journal of Mathematical Psychology”, 80, 2017, s. 40–55, DOI10.1016/j.jmp.2017.05.006 [dostęp 2019-07-19] (ang.).
  3. Attila Andai. Uncertainty principle with quantum Fisher information. „Journal of Mathematical Physics”. 49 (1), s. 012106, 2008-01-01. DOI: 10.1063/1.2830429. arXiv:0707.1147. ISSN 0022-2488. 
  4. Steeve Zozor, Jean-Marc Brossier. deBruijn identities: From Shannon, Kullback-Leibler and Fisher to generalized phi-entropies, phi-divergences and phi-Fisher informations. „Review of progress in quantitative nondestructive evaluation”. 1641, s. 522–529, 2015-01-01. DOI: 10.1063/1.4906018. ISSN 0094-243X. Bibcode2015AIPC.1641..522Z. 
  5. Sangwoo Park, Erchin Serpedin, Khalid Qaraqe. On the equivalence between Stein and de Bruijn identities. „arXiv [cs, math]”, 2012-01-31. arXiv:1202.0015. 
  6. James C. Spall. Monte Carlo Computation of the Fisher Information Matrix in Nonstandard Settings. „Journal of Computational and Graphical Statistics”. 14 (4), s. 889–909, 2005-12-01. DOI: 10.1198/106186005X78800. ISSN 1061-8600. 
  7. Sonjoy Das, James C. Spall, Roger Ghanem. Efficient Monte Carlo computation of Fisher information matrix using prior information. „Computational Statistics & Data Analysis”. 54 (2), s. 272–289, 2010-02-01. DOI: 10.1016/j.csda.2009.09.018. [dostęp 2017-01-16]. 
  8. George Casella, Roger L. Berger, Statistical inference, wyd. 2, Thomson Learning, 2002, s. 336–338, ISBN 0-534-24312-6, OCLC 46538638 [dostęp 2019-07-19].
  9. Debdeep Pati, Fisher Information, Florida State University, 2016.