Regresja prosta

Regresja prosta (ang. simple linear regression) to jedna z podstawowych metod analizy danych w statystyce i analizie regresji. Model ten opisuje zależność pomiędzy zmienną zależną Y a jedną zmienną niezależną X przyjmując, że zależność ta ma charakter liniowy.

Definicja matematyczna

Model regresji prostej ma postać:

Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i, \quad i = 1,\dots,n

gdzie:

Y_i – wartość zmiennej zależnej dla i‑tego obserwacji,
X_i – wartość zmiennej niezależnej,
\beta_0 – wyraz wolny (intercept),
\beta_1 – współczynnik nachylenia (slope),
\varepsilon_i – składnik losowy, zakładany jako niezależny i identycznie rozłożony zgodnie z rozkladem normalnym o średniej zero i wariancji \sigma^2.

Założenia modelu

Aby wyniki regresji prostej były wiarygodne, należy spełnić następujące założenia:

Liniowość – zależność pomiędzy X a Y jest liniowa.
Jednorodność wariancji (homoskedastyczność) – wariancja składnika losowego \varepsilon_i jest stała dla wszystkich obserwacji.
Brak autokorelacji – składniki losowe są nieskorelowane ze sobą.
Normalność – składniki losowe \varepsilon_i mają rozkład normalny.
Nieobecność zmiennych pominiętych – wszystkie istotne zmienne wpływające na Y są uwzględnione w modelu.

Estymacja parametrów – metoda najmniejszych kwadratów

Najbardziej powszechną techniką szacowania parametrów \beta_0 i \beta_1 jest metoda najmniejszych kwadratów (OLS – Ordinary Least Squares). Polega ona na minimalizacji sumy kwadratów reszt:

S(\beta_0,\beta_1)=\sum_{i=1}^{n}\bigl(Y_i-\beta_0-\beta_1 X_i\bigr)^2

Rozwiązania dają następujące wzory:

\hat\beta_1 = \frac{\sum_{i=1}^{n}(X_i-\bar X)(Y_i-\bar Y)}{\sum_{i=1}^{n}(X_i-\bar X)^2},
\qquad
\hat\beta_0 = \bar Y - \hat\beta_1 \bar X,

gdzie \bar X i \bar Y to średnie arytmetyczne zmiennych X i Y.

Interpretacja współczynników

\hat\beta_0 – przewidywana wartość Y, gdy X=0. Nie zawsze ma sens praktyczny, zależy od zakresu obserwacji.
\hat\beta_1 – przyrost średniej wartości Y przy jednostkowym wzroście X. Określa siłę i kierunek zależności.

Diagnostyka i testowanie hipotez

Po oszacowaniu modelu przeprowadza się testy statystyczne oraz analizę diagnostyczną:

Test t-studenta dla \beta_1 – sprawdza, czy parametr różni się istotnie od zera (hipoteza H_0: \beta_1 = 0).
Test F – ocenia całościową użyteczność modelu.
Analiza reszt – wykresy reszt, testy normalności (np. test Shapiro‑Wilk) i homoskedastyczności (test Breuscha‑Pagana).
Współczynnik determinacji R^2 – miara dopasowania modelu do danych.

Rozszerzenia i powiązane modele

Regresja prosta jest szczególnym przypadkiem bardziej ogólnego modelu liniowego. W praktyce często stosuje się:

regresję wielokrotną – wiele zmiennych niezależnych,
regresję logistyczną – zmienna zależna binarna,
regresję nieliniową – zależności nie spełniające liniowości.

Zastosowania

Regresja prosta znajduje zastosowanie w wielu dziedzinach, m.in. w:

ekonomii – prognozowanie popytu w zależności od ceny,
biologii – badanie zależności wzrostu roślin od dawki nawozu,
psychologii – analizowanie wpływu wieku na wyniki testów poznawczych,
inżynierii – ocena wytrzymałości materiałów w zależności od temperatury.

Implementacje w oprogramowaniu

W popularnych pakietach statystycznych można przeprowadzić regresję prostą, np. w R (funkcja lm()), w Pythonie (biblioteka statsmodels lub scikit-learn) oraz w SPSS i SAS.

Powiązana literatura

Kutner, M.H., Nachtsheim, C.J., Neter, J. – Applied Linear Statistical Models
Montgomery, D.C., Peck, E.A., Vining, G.G. – Introduction to Linear Regression Analysis
Gelman, A., Hill, J. – Data Analysis Using Regression and Multilevel/Hierarchical Models