Nierówność Rao-Craméra

Twierdzenie Craméra-Rao (zwane również nierównością Craméra-Rao lub nierównością informacyjną) podaje, jaki jest minimalny możliwy średniokwadratowy błąd estymatora (nie ma estymatorów, które miałyby mniejszy średni błąd kwadratowy).

W swojej najprostszej postaci nierówność stwierdza, że wariancja estymatora nieobciążonego jest nie mniejsza niż odwrotność informacji Fishera.

Następujące sformułowania nierówności wymienione są od najprostszej do bardziej ogólnej wersji. Wszystkie sformułowania wymagają pewnych warunków regularności spełnianych przez wiele „porządnych” rozkładów prawdopodobieństwa. Warunki te wymienione są poniżej.

Parametr skalarny, przypadek nieobciążony

Załóżmy, że ${\displaystyle \theta }$ jest nieznanym deterministycznym parametrem, który jest estymowany przy pomocy obserwacji ${\displaystyle x}$ z rozkładu prawdopodobieństwa o gęstości ${\displaystyle f(x;\theta ).}$ Wariancja dowolnego nieobciążonego estymatora ${\displaystyle {\hat {\theta }}}$ parametru ${\displaystyle \theta }$ jest wtedy ograniczona z dołu przez odwrotność informacji Fishera ${\displaystyle I(\theta ){:}}$

${\displaystyle \mathrm {var} \left({\hat {\theta }}\right)\geqslant {\frac {1}{I(\theta )}}.}$

Przypomnijmy że informacja Fishera ${\displaystyle I(\theta )}$ jest dana przez

${\displaystyle I(\theta )=n\mathrm {E} \left[\left[{\frac {\partial }{\partial \theta }}\ln f(X;\theta )\right]^{2}\right].}$

Wtedy efektywność estymatora nieobciążonego ${\displaystyle {\hat {\theta }}}$ jest zdefiniowana jako

${\displaystyle e({\hat {\theta }})={\frac {\frac {1}{I(\theta )}}{\mathrm {var} ({\hat {\theta }})}}}$

czyli minimalna możliwa wariancja estymatora nieobciążonego podzielona przez rzeczywistą wariancję. Zatem na mocy twierdzenia mamy że ${\displaystyle e({\hat {\theta }})\leqslant 1.}$

Parametr skalarny, przypadek ogólny

Bardziej ogólna postać ograniczenia może być otrzymana przez rozważanie nieobciążonego estymatora ${\displaystyle T(X)}$ funkcji ${\displaystyle \psi (\theta )}$ parametru ${\displaystyle \theta .}$ Nieobiążoność rozumiemy w tym przypadku jako: ${\displaystyle E\{T(X)\}=\psi (\theta ).}$ Ograniczenie przyjmuje postać

${\displaystyle \mathrm {var} (T)\geqslant {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}}$

gdzie ${\displaystyle \psi '(\theta )}$ jest pochodną ${\displaystyle \psi (\theta ),}$ i ${\displaystyle I(\theta )}$ jest informacją Fishera zdefiniowaną powyżej.

Podobnie możemy otrzymać ograniczenie wariancji estymatora obciążonego z danym obciążeniem. Rozważmy estymator ${\displaystyle {\hat {\theta }}}$ z obciążeniem ${\displaystyle b(\theta )=E\{{\hat {\theta }}\}-\theta ,}$ i niech ${\displaystyle \psi (\theta )=b(\theta )+\theta .}$ Na mocy powyższego wyniku, dowolny nieobciążony estymator o wartości oczekiwanej ${\displaystyle \psi (\theta )}$ ma wariancję większą lub równą ${\displaystyle (\psi '(\theta ))^{2}/I(\theta ).}$ Zatem dowolny estymator ${\displaystyle {\hat {\theta }}}$ o obciążeniu danym funkcją ${\displaystyle b(\theta )}$ spełnia

${\displaystyle \mathrm {var} \left({\hat {\theta }}\right)\geqslant {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}.}$

Oczywiście, nieobciążona wersja ograniczenia jest szczególnym przypadkiem z ${\displaystyle b(\theta )=0.}$

Przypadek wielowymiarowy

Aby rozszerzyć nierówność Craméra-Rao na przypadek wielowymiarowy, zdefiniujmy wektor parametrów

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$

z funkcją gęstości prawdopodobieństwa ${\displaystyle f(x;{\boldsymbol {\theta }})}$ spełniającą dwa warunki regularności poniżej.

Macierz informacji Fishera jest ${\displaystyle d\times d}$ macierzą dla której element ${\displaystyle I_{m,k}}$ jest zdefiniowany jako

${\displaystyle I_{m,k}=\mathrm {E} \left[{\frac {d}{d\theta _{m}}}\ln f\left(x;{\boldsymbol {\theta }}\right){\frac {d}{d\theta _{k}}}\ln f\left(x;{\boldsymbol {\theta }}\right)\right].}$

Niech ${\displaystyle {\boldsymbol {T}}(X)}$ będzie estymatorem dowolnej funkcji wektorowej parametrów, ${\displaystyle {\boldsymbol {T}}(X)=(T_{1}(X),\dots ,T_{n}(X))^{T},}$ i oznaczmy jego wektor wartości oczekiwanej ${\displaystyle \mathrm {E} [{\boldsymbol {T}}(X)]}$ przez ${\displaystyle {\boldsymbol {\psi }}({\boldsymbol {\theta }}).}$ Wtedy nierówność Craméra-Rao stwierdza że macierz kowariancji dla ${\displaystyle {\boldsymbol {T}}(X)}$ spełnia

${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geqslant {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}}}[I\left({\boldsymbol {\theta }}\right)]^{-1}\left({\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}}}\right)^{T}}$

gdzie:

• nierówność macierzy ${\displaystyle A\geqslant B}$ oznacza, że macierz ${\displaystyle A-B}$ jest nieujemnie określona,
• ${\displaystyle \partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}}$ jest macierzą, dla której ${\displaystyle ij}$ th element jest dany przez ${\displaystyle \partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}.}$

Jeśli ${\displaystyle {\boldsymbol {T}}(X)}$ nieobciążonym estymatorem ${\displaystyle {\boldsymbol {\theta }}}$ (to znaczy, ${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$), wtedy nierówność Craméra-Rao sprowadza się do

${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geqslant I\left({\boldsymbol {\theta }}\right)^{-1}.}$

Warunki regularności

Następujące dwa słabe warunki regularności gęstości prawdopodobieństwa ${\displaystyle f(x;\theta )}$ i estymatora ${\displaystyle T(X)}$ są konieczne:

• Informacja Fishera jest zawsze zdefiniowana; równoważnie ${\displaystyle x}$ takie że ${\displaystyle f(x;\theta )>0,}$

${\displaystyle {\frac {\partial }{\partial \theta }}\ln f(x;\theta )}$

istnieje i jest skończone.

• Operacje calkowania po ${\displaystyle x}$ i różniczkowania ze względu na ${\displaystyle \theta }$ są przemienne; to znaczy,

${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$

wszędzie gdzie prawa strona jest skończona.