Regresja (statystyka)

Regresja – metoda statystyczna pozwalająca na opisanie współzmienności kilku zmiennych przez dopasowanie do nich funkcji. Umożliwia przewidywanie nieznanych wartości jednych wielkości na podstawie znanych wartości innych.

Formalnie regresja to dowolna metoda statystyczna pozwalająca estymować warunkową wartość oczekiwaną zmiennej losowej, zwanej zmienną objaśnianą^[1], dla zadanych wartości innej zmiennej lub wektora zmiennych losowych (tzw. zmiennych objaśniających^[1]).

Użycie regresji w praktyce sprowadza się do dwóch faz:

• konstruowanie modelu – budowa tzw. modelu regresyjnego, czyli funkcji opisującej, jak zależy wartość oczekiwana zmiennej objaśnianej od zmiennych objaśniających. Funkcja ta może być zadana nie tylko czystym wzorem matematycznym, ale także całym algorytmem, np. w postaci drzewa regresyjnego, sieci neuronowej itp. Model konstruuje się tak, aby jak najlepiej pasował do danych z próby, zawierającej zarówno zmienne objaśniające, jak i objaśniane (tzw. zbiór uczący). Mówiąc o wyliczaniu regresji ma się na myśli tę fazę.
• stosowanie modelu (tzw. scoring) – użycie wyliczonego modelu do danych w których znamy tylko zmienne objaśniające, w celu wyznaczenia wartości oczekiwanej zmiennej objaśnianej.

Dział statystyki zajmujący się modelami i metodami regresji zwany jest analizą regresji. Regresja, w której występuje więcej niż jedna zmienna objaśniająca, zwana jest regresją wieloraką (ang. multiple regression).

Globalne modele parametryczne

W modelach parametrycznych ogólna postać modelu jest założona z góry, a celem procedury regresji jest dobranie takich jej parametrów, które definiowałyby funkcję możliwie dobrze odpowiadającą próbie uczącej.

Zwykle stosuje się tzw. globalne modele parametryczne, gdzie wartości współczynników są takie same dla dowolnych wartości zmiennych objaśniających.

Ogólna postać modelu

W zapisie formalnym model przybiera zwykle postać:

${\displaystyle Y=f(X,\beta )+\varepsilon }$

gdzie:

${\displaystyle X}$ – wektor zmiennych objaśniających (predyktorów),

${\displaystyle Y}$ – zmienna objaśniana,

${\displaystyle \beta }$ – wektor współczynników regresji (zwykle będących liczbami rzeczywistymi)

${\displaystyle f(X,\beta )}$ – funkcja regresji o wartościach w liczbach rzeczywistych,

${\displaystyle \varepsilon }$ – błąd losowy, o rozkładzie być może zależnym od ${\displaystyle X,}$ przy czym ${\displaystyle \mathbb {E} (\varepsilon |X)=0}$ oraz ${\displaystyle \sup _{X}\operatorname {Var} (\varepsilon _{X}|X)<\infty .}$ Dzięki temu

${\displaystyle \mathbb {E} Y=f(X,\beta )}$

Niekiedy wprowadza się do modelu także błąd zmiennych objaśniających. Wzór zwykle przybiera wówczas formę:

${\displaystyle Y=f(X+\varepsilon _{X},\beta )+\varepsilon }$

Miara błędu

Celem konstrukcji modelu jest przybliżenie nieznanej funkcji ${\displaystyle f}$ przez jej estymator ${\displaystyle {\widehat {f}}.}$ Sprowadza się to do takiego wyznaczenia wektora współczynników ${\displaystyle \beta ,}$ aby zminimalizować w zbiorze uczącym funkcję straty

${\displaystyle L({\widehat {f}},f)={\frac {1}{n}}\sum _{i=1}^{n}\Delta ({\widehat {f}}(x_{i}),f(x_{i}))}$

gdzie ${\displaystyle \Delta (a,b)}$ jest ustaloną miarą odległości^[2] między wartościami ${\displaystyle a}$ i ${\displaystyle b}$ (tzw. miara błędu).

Wybór miary ${\displaystyle \Delta (a,b)}$ bardzo wpływa na algorytm i wyniki regresji. Zwykle jako miarę błędów stosuje się sumę kwadratów różnic (błędów regresji):

${\displaystyle \Delta (a,b)=(a-b)^{2}}$

gdyż wówczas obliczenia są najprostsze – dopasowanie modelu sprowadza się do zastosowania prostej matematycznie metody najmniejszych kwadratów. Ma to jednak swoją wadę – kwadrat błędów dużo silniej zależy od obserwacji dla których błąd jest największy niż od tych, do których model dobrze się dopasował^[3]. Metoda najmniejszych kwadratów daje więc niedokładne lub wręcz zafałszowane wyniki, jeśli w zbiorze uczącym występują obserwacje zbyt dalekie od średniej, tzw. elementy odstające (np. pomyłki przy wprowadzaniu danych).

W związku z tym stosowane są także inne miary błędów, bardziej odporne, takie jak np. wartość bezwzględna różnicy.

Najpopularniejsze modele parametryczne

Regresja liniowa

Model regresji liniowej ma ogólną postać kombinacji liniowej wyrazów:

${\displaystyle Y=\beta _{0}+x_{1}\beta _{1}+x_{2}\beta _{2}+\dots +x_{n}\beta _{n}+\varepsilon }$

Opracowano wiele algorytmów obliczania współczynników ${\displaystyle (\beta )}$ modelu liniowego, takich jak analityczna metoda najmniejszych kwadratów, metoda największej wiarygodności, lub numeryczna metoda gradientu prostego. Minimalizacja obciążenia oszacowań nie zawsze jest jedynym pożądanym celem, co ilustruje zagadnienie kompromisu między obciążeniem a wariancją, i co motywuje np. stosowanie algorytmów z regularyzacją.

Regresja liniowa z przekształceniami

Regresja liniowa dopuszcza dowolne przekształcenia zmiennych – nawet jeśli odzwierciedla to nieliniowe zależności – dopóki całość pozostaje liniową kombinacją, np^[4].

${\displaystyle Y=\beta _{0}+\beta _{1}Z+\beta _{2}Z^{2}+\beta _{3}{\sqrt {Z}}+\beta _{4}\log {Z}+\varepsilon }$

Regresja liniowa z interakcjami

Szczególnym przypadkiem regresji liniowej jest model z interakcjami zmiennych, wyrażonymi jako ich produkt, np.

${\displaystyle Y=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\beta _{3}x_{1}x_{2}+\varepsilon }$

Regresja nieliniowa

Regresja, w której postać modelu nie sprowadza się do liniowej kombinacji wyrazów^[4].

Stosowane są różne modele, budowane na potrzeby konkretnego przypadku. Dla jednej zmiennej objaśniającej ${\displaystyle Z}$ może to być na przykład:

${\displaystyle Y=\beta _{0}+{\frac {\beta _{1}Z}{\beta _{2}+Z}}+\varepsilon }$

Modele nieliniowe są trudniejsze w oszacowaniu, i często wymagają numerycznych przybliżeń.

Uogólnione modele liniowe (GLM)

W modelach tych przyjmuje się następujące założenia:

• Zmienne objaśniające wpływają na zmienną objaśnianą tylko przez tzw. składnik systematyczny

  ${\displaystyle \eta =X^{T}\beta }$

gdzie ${\displaystyle X^{T}}$ oznacza transpozycję macierzy ${\displaystyle X}$

• Rozkład prawdopodobieństwa zmiennej objaśnianej jest określony przez tzw. składnik losowy modelu:

  ${\displaystyle Y\sim N(\mu ,\sigma ^{2}),\mathbb {E} Y=\mu }$

• Wartość oczekiwana ${\displaystyle \mu }$ składnika losowego zależy od składnika systematycznego w sposób określony przez tzw. funkcję wiążącą ${\displaystyle l{:}}$

  ${\displaystyle \eta =l(\mu )}$

W zależności od wyboru funkcji wiążącej otrzymuje się różne modele.

Nieznane parametry ${\displaystyle \beta }$ są zwykle estymowane za pomocą metod największej wiarygodności, quasi-największej wiarygodności, lub metod bayesowskich.

Regresja logistyczna

Szczególny przypadek GLM, stosowany, gdy zmienna objaśniana ${\displaystyle Y}$ przyjmuje tylko dwie wartości (zwykle oznaczane 0 i 1), np. mówi, czy prognozowane zdarzenie będzie miało miejsce. Funkcją wiążącą jest w tym przypadku logit.

Regresja nieparametryczna

Alternatywną koncepcją jest regresja nieparametryczna. Metody regresji nieparametrycznej nie zakładają, że estymowana funkcja ${\displaystyle f}$ jest znana z dokładnością do skończenie wielu estymowalnych parametrów. Tym samym są często bardziej elastyczne w poszukiwaniu rozwiązań. Z drugiej strony w regresji parametrycznej o wiele prostszy jest matematyczny opis modelu, co pozwala na przykład na łatwe wyznaczanie przedziałów ufności prognozowanej wartości. W regresji nieparametrycznej bywa to trudniejsze.

Krokowa konstrukcja modelu regresji

Metody regresji krokowej (ang. stepwise regression) są często stosowanym, ale problematycznym sposobem na wybranie zmiennych objaśniających do modelu. Statystycy odradzają ich używanie, zwłaszcza jeśli badacze nie są świadomi towarzyszącemu technice ryzyku błędów, i nie stosują przeciwdziałających mu poprawek. Regresja krokowa prowadzi m.in. do błędu nadmiernego dopasowania do danych uczących. Lepszymi narzędziami oceny i wyboru alternatywnych modeli są np. kryteria informacyjne AIC i BIC, lub sprawdzian krzyżowy, oraz korzystanie z takich metod jak regresja regularyzowana typu lasso^[5][6][7][8].

Regresja krokowa postępująca

W tej wersji zmienne są kolejno dodawane do modelu.

Przykładowo może ona polegać w pierwszym kroku na wyborze do modelu tej zmiennej objaśniającej, która jest najsilniej skorelowana ze zmienną objaśnianą i wyznacza model o istotnych parametrach. W drugim kroku wybierana jest kolejna zmienna objaśniająca, której wartości są najsilniej skorelowane z resztami kroku pierwszego, a rozszerzony model charakteryzuje się istotnością wszystkich parametrów. Oprócz istotności parametrów bada się również istotność współczynnika determinacji. Procedura podlega zakończeniu, gdy zabraknie zmiennych objaśniających lub dołączenie nowej zmiennej do równania prowadzi do utraty waloru istotności przez parametry lub współczynnik determinacji.

Regresja krokowa wsteczna

Polega w pierwszym kroku na skonstruowaniu modelu zawierającego wszystkie potencjalne zmienne objaśniające, a następnie na stopniowym eliminowaniu zmiennych tak, aby utrzymać model z najwyższą wartością współczynnika determinacji przy zachowaniu istotności parametrów.

Istnieją też metody mieszane, w których algorytm zarówno dodaje, jak i usuwa zmienne w kolejnych krokach.

Zobacz też

• autoregresja
• regresja liniowa
• regresja logistyczna
• regresja pozorna
• współczynnik regresji

Przypisy

Bibliografia

• Jacek Koronacki, Jan Ćwik: Statystyczne systemy uczące się. Warszawa: Wydawnictwa Naukowo-Techniczne, 2005. ISBN 83-204-3157-3.