Współczynnik niepewności

Współczynnik niepewności, nazywany również biegłością, entropią produktową (lub współczynnikiem entropii) oraz współczynnikiem Theila (U Theila), to miara asocjacji nominalnej (ang. measure of nominal association). Współczynnik ten został wprowadzony przez Henriego Theila. Jest oparty na koncepcji entropii informacji.

Definicja formalna

Załóżmy, że mamy próbki dwóch odrębnych zmiennych losowych ${\displaystyle X}$ i ${\displaystyle Y.}$ Konstruując wspólny rozkład (ang. joint distribution) ${\displaystyle P=_{X,Y}(x,y),}$ z którego możemy obliczyć rozkład warunkowy ${\displaystyle P_{X|Y}(x|y)=P_{X,Y}{\frac {(x,y)}{P_{Y}(y)}}}$ i ${\displaystyle P_{Y|X}(y|x)=P_{X,Y}{\frac {(x,y)}{P_{X}(x)}}}$ i inne rozmaite entropie, możemy określić stopień asocjacji pomiędzy dwiema zmiennymi.

Entropię pojedynczego rozkładu możemy obliczyć za pomocą wzoru^[1]:

${\displaystyle H(X)=-\sum _{x}P_{X}(x)\log P_{X}(x),}$

podczas gdy entropię warunkową obliczamy za pomocą wzoru^[1]:

${\displaystyle H(X|Y)=-\sum _{x,~y}P_{X,Y}(x,~y)\log P_{X|Y}(x|y).}$

Współczynnik niepewności^[2] (lub biegłość)^[3] jest zdefiniowany wzorem:

${\displaystyle U(X|Y)={\frac {H(X)-H(X|Y)}{H(X)}}={\frac {I(X;Y)}{H(X)}}.}$

Mówi on nam, jaką część bitów ${\displaystyle X}$ możemy przewidzieć przy pomocy danej ${\displaystyle Y.}$ (Powyższe wyrażenie jasno wyjaśnia nam, że współczynnik niepewności jest znormalizowaną informacją wzajemną ${\displaystyle I(X,Y).}$) W tym przypadku możemy uważać ${\displaystyle X}$ jako zawierającą „faktyczną” wartość. Należy brać pod uwagę, że ${\displaystyle U}$ (ale nie ${\displaystyle H}$!) nie jest zależna od podstawy ${\displaystyle \log ,}$ ponieważ wszystkie logarytmy są proporcjonalne.

Współczynnik niepewności jest przydatny do pomiaru ważności algorytmu klasyfikacji statystycznej. Współczynnik ten posiada również przewagę nad prostszymi miarami dokładności takimi jak precyzja i odwołanie (ang. precision and recall).

Odmiany

Symetryczna: Współczynnik niepewności nie jest symetryczny w odniesieniu do ról ${\displaystyle X}$ i ${\displaystyle Y.}$ Ich role mogą zostać odwrócone, zatem mogą zostać zdefiniowane jako średnia ważona między nimi dwoma^[4]:

${\displaystyle {\begin{aligned}U(X,~Y)&={\frac {H(X)U(X|Y)+H(Y)U(Y|X)}{H(X)+H(Y)}}\\[8pt]&=2\left[{\frac {H(X)+H(Y)-H(X,~Y)}{H(X)+H(Y)}}\right].\end{aligned}}}$

Ciągła: Chociaż zwykle stosowany jest do zmiennych dyskretnych, współczynnik niepewności może zostać przedłużony do zmiennych ciągłych^[1] za pomocą estymatora gęstości.

Zobacz też

• informacja wzajemna

Przypisy