Wnioskowanie bayesowskie

Thomas Bayes

Wnioskowanie bayesowskie (statystyka bayesowska) – metoda wnioskowania statystycznego, w której korzysta się z twierdzenia Bayesa do aktualizowania prawdopodobieństwa subiektywnego hipotez w oparciu o dotychczasowe prawdopodobieństwo oraz nowe dane. Wnioskowanie bayesowskie znajduje zastosowanie w wielu dziedzinach, takich jak badania naukowe, inżynieria, filozofia, medycyna, sport czy prawo.

Twierdzenie Bayesa

Twierdzenie Bayesa opisuje zależność pomiędzy prawdopodobieństwem warunkowym zdarzeń ${\displaystyle A|B}$ oraz ${\displaystyle B|A.}$ We wnioskowaniu bayesowskim używa się następujących podstawień:

${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}}$

Wzór wyraża następującą zależność: prawdopodobieństwo hipotezy H w świetle danych E, odpowiada prawdopodobieństwu danych E przy założeniu hipotezy H, pomnożonemu przez dotychczasowe prawdopodobieństwo hipotezy H, i podzielonemu przez prawdopodobieństwo danych E.

Po sformułowaniu hipotezy naukowej jako modelu matematycznego możemy przy pomocy twierdzenia Bayesa wielokrotnie aktualizować nowe prawdopodobieństwo (a posteriori) tej hipotezy w świetle napływających danych i jej dotychczasowego prawdopodobieństwa (a priori). Zjawiska uważane za mało prawdopodobne a priori wymagają odpowiednio silnych dowodów, aby zmienić przekonanie badacza. Metoda ta pozwala także na dowolne określenie a priori oczekiwanych rozkładów tych parametrów modelu, które nie mają bezpośredniego znaczenia poznawczego, w celu zwiększenia szybkości i precyzji obliczeń.

Metody bayesowskie mają szereg zastosowań praktycznych – pozwalają obliczyć, z użyciem matematycznego modelu badanego zjawiska wraz z jego prawdopodobieństwem, m.in. oszacowania, prognozy i przedziały wiarygodności nieznanych parametrów, lub weryfikować hipotezy statystyczne z użyciem czynnika Bayesa.

Metoda wnioskowania bayesowskiego

Związek z metodami wnioskowania częstościowego oraz innymi podejściami

Zgodnie z argumentami Harolda Jeffreysa i Abrahama Walda, wszystkie metody wnioskowania statystycznego są szczególnym przypadkiem metod bayesowskich^[1]. Podejście częstościowe (paradygmat Fishera i Neymana/Pearsona) to zbiór gotowych modeli statystycznych pasujących do wielu typowych rodzajów problemów, opartych o bardzo specyficzne założenia filozoficzne, skupione na długoterminowej kontroli błędów decyzyjnych (przede wszystkim tzw. błędy pierwszego i drugiego rodzaju). Ich właściwości są często nieintuicyjne, nie uprawniają na przykład w sensie technicznym do wyciągania wprost wniosków z wartości p na temat subiektywnego prawdopodobieństwa hipotez^[2]. Podejście bayesowskie natomiast pozwala na wyciąganie takich epistemologicznych wniosków.

Prawdopodobieństwo subiektywne

Przykład użyty przez Savage (1961) ilustruje znaczenie prawdopodobieństwa subiektywnego^[3]. Polecił on czytelnikom wyobrażenie sobie trzech eksperymentów statystycznych:

1. Ekspert z dziedziny muzyki twierdzi, że jest zdolny odróżnić muzykę Haydna od Mozarta na podstawie dowolnej strony z zapisem nutowym tych kompozytorów. W dziesięciu próbach wykonuje to zadanie poprawnie za każdym razem.
2. Kobieta, która lubi dodawać mleko do herbaty, uważa że jest w stanie rozpoznać, czy do kubka wlano najpierw herbatę czy mleko. W dziesięciu próbach, rozpoznaje to prawidłowo w każdym przypadku.
3. Twój nietrzeźwy znajomy stwierdza, że jest w stanie przewidzieć wynik rzutu monetą. W dziesięciu próbach przeprowadzonych w celu sprawdzenia jego słów, właściwie przewiduje wszystkich dziesięć rzutów.

Ortodoksyjny, jednostronny test istotności w podejściu częstościowym w każdym powyższym eksperymencie każe odrzucić hipotezę zerową na poziomie istotności niższym niż 2⁻¹⁰. Daje zatem przesłanki by uznać każdy z wyników za dowód na rzecz przedstawionych twierdzeń. Jednakże w każdej kolejnej sytuacji badana hipoteza może wydawać się czytelnikowi coraz mniej wiarygodna, i wymagająca większej liczby dowodów by być przekonującą. Choć konstrukcja wszystkich tych eksperymentów jest z perspektywy statystyki identyczna, przedstawione przykłady zdaniem Savage’a demonstrują, że ludzie w praktyce stosują prawdopodobieństwo subiektywne, i przypisują każdemu twierdzeniu pewne prawdopodobieństwo a priori, które powinno być uwzględniane w procedurach wnioskowania statystycznego. Wnioskowanie bayesowskie jest jednym z rozwiązań, które na to pozwalają^[4].

Formalny opis wnioskowania bayesowskiego

Definicje

• ${\displaystyle x,}$ jednostkowa obserwacja. Może to być wektor wartości.
• ${\displaystyle \theta ,}$ parametr obserwacji, tj. ${\displaystyle x\sim p(x\mid \theta ).}$ Może to być wektor parametrów.
• ${\displaystyle \alpha ,}$ hiperparametr parametru, tj. ${\displaystyle \theta \sim p(\theta \mid \alpha ).}$ Może to być wektor hiperparametrów.
• ${\displaystyle \mathbf {X} ,}$ zbiór ${\displaystyle n}$ jednostkowych obserwacji, tj. ${\displaystyle x_{1},\ldots ,x_{n}.}$
• ${\displaystyle {\tilde {x}},}$ nowa jednostkowa obserwacja, której rozkład ma być prognozowany.

Wnioskowanie bayesowskie

• Rozkład a priori (in. aprioryczny, zaczątkowy) to rozkład parametrów przyjęty przed zaobserwowaniem jakichkolwiek danych, tj. ${\displaystyle {\color {Red}p(\theta \mid \alpha )}.}$ Reprezentuje wiedzę z jaką badacz rozpoczyna badanie.
• Kryterium wyboru rozkładu a priori może być niejasne. W przypadku niepewności można zastosować rozkłady nieinformacyjne, np. rozkład aprioryczny Jeffreysa lub rozkład jednostajny.
• Rozkład z próby to rozkład obserwacji, zależnych od ich parametrów, tj. ${\displaystyle {\color {NavyBlue}p(\mathbf {X} \mid \theta )}.}$ Nazywa się go również wiarygodnością, szczególnie gdy rozpatruje się ją jako funkcję parametrów, tj. ${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )={\color {NavyBlue}p(\mathbf {X} \mid \theta )}.}$
• Wiarygodność brzegowa (nazywana też dowodem) to rozkład zaobserwowanych danych w gęstości brzegowej względem parametrów, tj. ${\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }{\color {NavyBlue}p(\mathbf {X} \mid \theta )}{\color {Red}p(\theta \mid \alpha )}\operatorname {d} \!\theta .}$
• Rozkład a posteriori (in. wynikowy) to rozkład parametrów po uwzględnieniu zaobserwowanych danych. Jest określany przy pomocy twierdzenia Bayesa:

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {{\color {NavyBlue}p(\mathbf {X} \mid \theta )}{\color {Red}p(\theta \mid \alpha )}}{p(\mathbf {X} \mid \alpha )}}\propto {\color {NavyBlue}p(\mathbf {X} \mid \theta )}{\color {Red}p(\theta \mid \alpha )}}$

Można to wyrazić słownie jako „rozkład a posteriori jest proporcjonalny do rozkładu a priori pomnożonego przez wiarygodność”, albo „rozkład a posteriori równy jest rozkładowi a priori pomnożonemu przez wiarygodność i podzielonemu przez wiarygodność brzegową”.

Prognozowanie bayesowskie

• Rozkład prognostyczny a posteriori to rozkład nowej obserwacji w gęstości krańcowej względem rozkładu a posteriori:

${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int _{\theta }p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\operatorname {d} \!\theta }$

• Rozkład prognostyczny a priori to, analogicznie, rozkład nowej obserwacji w gęstości krańcowej względem rozkładu a priori:

${\displaystyle p({\tilde {x}}\mid \alpha )=\int _{\theta }p({\tilde {x}}\mid \theta ){\color {Red}p(\theta \mid \alpha )}\operatorname {d} \!\theta }$

Rezultatem prognozowania bayesowskiego nie jest punkt, ale cały rozkład prawdopodobieństwa wartości, jakie mogą przyjmować obserwacje.

Zastosowania

Metody bayesowskie są stosowane m.in. w uczeniu maszynowym i sztucznej inteligencji, klasyfikacji statystycznej (np. rozpoznawaniu spamu), badaniach naukowych czy prognozach wyborczych, medycznych lub sportowych.

Narzędzia, które pozwalają stosować statystyki bayesowskie w badaniach naukowych, to m.in. wolne i otwarte oprogramowanie takie jak język programowania R oraz zbudowany na bazie R pakiet statystyczny z graficznym interfejsem użytkownika JASP^[5].

Przypisy