7  Regresión Lineal

La referencia principal de esta sección es el Capítulo 3. Linear Regression, del libro An Introduction to Statistical Learning de Gareth James, Daniela Witten, Trevor Hastie y Robert Tibshirani.

7.1 Regresión lineal simple

Modelo paramétrico para predecir una variable de respuesta cuantitativa $Y$ a partir de una sola variable $X$, suponiendo que existe una relación lineal entre $X$ y $Y$

$$Y\approx {\beta }_0+{\beta }_{1}X$$

Donde ${\beta }_0$ y ${\beta }_1$ son constantes (desconocidas) que representan la intersección y la pendiente del modelo lineal; son denominados coeficientes o parámetros del modelo. Se calculan valores estimados de tales parámetros, los cuales son denotados por $\widehat{{\beta }_0}$ y ${\hat{\beta }}_1$, entonces

$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$$

donde $\hat{y}$ indica el valor estimado de $Y$.

7.1.1 Estimación de los coeficientes

Para estimar los coeficientes ${\beta }_0$, ${\beta }_1$, sean

$$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$$

$n$ parejas de observaciones, cada una consiste en un valor observado de $X$ y de $Y$. El objetivo es obtener valores estimados $\widehat{{\beta }_0}$, $\widehat{{\beta }_1}$ tales que el modelo lineal ajuste bien los datos disponibles. El criterio más utilizado es el de mínimos cuadrados.

Sea ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$ el valor estimado para $Y$ considerando el $i$-ésimo valor de $X$. Entonces $e_i=y_i-{\hat{y}}_i$ representa el $i$-ésimo residuo. Se define la suma del cuadrado de los residuos (RSS) como

$$RSS=e_1^2+e_2^2+\cdots +e_n^2,$$

o de manera equivalente

$$RSS=(y_1-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_1{)}^2+(y_2-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_2{)}^2+\cdots +(y_n-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_n{)}^2.$$

Los valores estimados de los coeficientes ${\hat{\beta }}_0$ y ${\hat{\beta }}_1$ calculados por medio de mínimos cuadrados minimizan el RSS (multiplicadores de Lagrange) y están dados por

$$\begin{array}{rl}& {\hat{\beta }}_1=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sum _{i=1}^n{(x_i-\overline{x})}^2}\\ & {\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}\end{array}$$

donde

$$\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i\text{ y }\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

son las medias muestrales.

7.1.2 Evaluación de la precisión de los coeficientes estimados

La suposición es que la relación verdadera entre $X$ y $Y$ es de la forma

$$Y=f(X)+ϵ$$

para alguna función desconocida $f$, donde $ϵ$, el término de error aleatorio tiene media cero. Si $f$ es aproximada por una función lineal, podemos escribir tal relación como

$$Y={\beta }_0+{\beta }_{1}X+ϵ.$$

Donde ${\beta }_0$ es el término de la intersección- es decir, el valor esperado de $Y$ cuando $X=0$, y ${\beta }_1$ es la pendiente- el incremento promedio de $Y$ cuando $X$ incrementa una unidad. El término del error captura el hecho que la verdadera relación probablemente sea no lineal, que quizá haya otras variables que causan la variación de $Y$ o que haya algún error en las mediciones.

Para calcular los errores estándar asociados con ${\hat{\beta }}_0$ y ${\hat{\beta }}_1$ se utilizan las siguientes fórmulas

$$SE({\hat{\beta }}_0{)}^2={\sigma }^2[\frac{1}{n}+\frac{{\overline{x}}^2}{\sum _{i=1}^n(x_i-\overline{x}{)}^2}],SE({\hat{\beta }}_1{)}^2=\frac{{\sigma }^2}{\sum _{i=1}^n(x_i-\overline{x}{)}^2},$$

donde ${\sigma }^2=Var(ϵ)$. Para que estas fórmulas sean estrictamente válidas es necesario suponer que los errorres ${ϵ}_i$ para cada observación no estén correlacionados y tengan la misma varianza, ${\sigma }^2$. De la fórmula de $SE({\hat{\beta }}_1)$ se concluye que este valor será menor cuando las $x_i$ estén más dispersas. También se observa que $SE({\hat{\beta }}_0)$ sería igual a $SE(\hat{\mu })$ si $\overline{x}$ fuera cero (en tal caso ${\hat{\beta }}_0$ sería igual a $\overline{y}$).

En general ${\sigma }^2$ es desconocida, pero se puede estimar a partir de los datos. El valor estimado de $\sigma$ es conocido como el error residual estándar y está dado por

$$RSE=\sqrt{\frac{RSS}{n-2}}.$$

Los errores estándar pueden ser utilizados para calcular los intervalos de confianza. Un intervalo al $95\mathrm{\%}$ de confianza se define como el rango de valores tales que con una probabilidad de 0.95, tal intervalo contiene el valor verdadero del parámetro. Para la regresión lineal, el intervalo de confianza al $95\mathrm{\%}$ para ${\beta }_1$ es de la forma

$${\hat{\beta }}_1\pm 2SE({\hat{\beta }}_1).$$

Es decir, hay una probabilidad de 0.95 que el intervalo

$$[{\hat{\beta }}_1-2SE({\hat{\beta }}_1),{\hat{\beta }}_1+2SE({\hat{\beta }}_1)]$$

contenga el valor verdadero de ${\beta }_1$. De manera análoga, un intervalo de confianza para ${\beta }_0$ es de la forma

$${\hat{\beta }}_0\pm 2SE({\hat{\beta }}_0).$$

Los errores estándar pueden ser utilizados para llevar a cabo pruebas de hipótesis (respecto a los coeficientes), comúmente se evalúa la siguiente hipótesis nula:

$$H_0:\text{ no existe relación entre }X\text{ y }Y$$

contra la hipótesis alternativa

$$H_a:\text{ existe alguna relación entre }X\text{ y }Y.$$

Es decir

$$H_0:{\beta }_1=0\text{ y }{H}_a:{\beta }_1\ne 0,$$

pues, si ${\beta }_1=0$ el modelo de regresión lineal se reduce a $Y={\beta }_0+ϵ$, y $X$ no tiene relación con $Y$. Para probar la hipótesis nula, es necesario determinar cuándo ${\hat{\beta }}_1$ (el valor estimado de ${\beta }_1$) es suficientemente distinto de cero. Si $SE({\hat{\beta }}_1)$ es pequeño, entonces incluso bajos valores de ${\hat{\beta }}_1$ podrían brindar fuerte evidencia que ${\beta }_1\ne 0$, y por lo tanto, que existe relación entre $X$ y $Y$. En contraste, si $SE({\hat{\beta }}_1)$ es grande, entonces ${\hat{\beta }}_1$ tiene que tener un valor mayor (en valor absoluto) para poder rechazar la hipótesis nula. En la práctica, se calcula la $t$-estadística dada por

$$t=\frac{{\hat{\beta }}_1-0}{SE({\hat{\beta }}_1)},$$

que cuantifica el número de desviaciones estándar que ${\hat{\beta }}_1$ difiere de cero. Si no existe relación entre $X$ y $Y$ se espera que $t$ tenga distribución $t$ con $n-2$ grados de libertad. Posteriormente se calcula la probabilidad de observar cualquier número igual o mayor $|t|$, suponiendo que ${\beta }_1=0$. Esta probabilidad es denominada p-value. Si se observa un p-value pequeño, se puede inferir que existe cierta relación entre el predictor y la variable de respuesta y se rechaza la hipótesis nula.

7.1.3 Evaluación de la precisión del modelo

Una vez que se lleva la prueba de hipótesis expuesta previamente, se cuantifica qué tan bien el modelo ajusta los datos. Esto se evalúa usando dos cantidades: el error residual estándar ($RSE$) y la estadística $R^2$.

Error residual estándar

Recordemos que cada observación tiene asociada un término de error $ϵ$, luego, incluso si se conoce la verdadera línea de regresión no se podría predecir exactamente $Y$ a partir de $X$. El $RSE$ es una estimación de la desviación estándar de $ϵ$. A grandes rasgos, es la cantidad promedio que la variable de respuesta se desvía de la línea de regresión. Se calcula por medio de

$$RSE=\sqrt{\frac{1}{n-2}RSS}=\sqrt{\frac{1}{n-2}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}$$

El $RSE$ es considerado como una medida de falta de ajuste del modelo. Si las estimaciones obtenidas usando el modelo son muy cercanas a los valores verdaderos- es decir, si ${\hat{y}}_i\approx y_i$ para $i=1,...,n$- entonces el valor del $RSE$ será pequeño y se concluye que el modelo ajusta bien los datos.

Estadística $R^2$

El $RSE$ brinda una medida absoluta de la falta de ajuste del modelo, pero, dado que tiene las mismas unidades que $Y$, no siempre es claro cual sería un buen $RSE$. La estadística $R^2$ brinda una alternativa de medida de ajuste. Toma la forma de una proporción -la proporción de varianza explicada-, por lo que toma un valor entre 0 y 1, y es independiente de la escala de $Y$.

Para calcular $R^2$ se considera

$$R^2=\frac{TSS-RSS}{TSS}=1-\frac{RSS}{TSS}$$

donde

$$TSS=\sum _{i=1}^n(y_i-\overline{y}{)}^2$$

es la suma total de cuadrados, y $RSS$ es la suma estándar residual. $TSS$ cuantifica la varianza total de la variable de respuesta $Y$, y puede interpretarse como la cantidad de variabilidad inherente a la variable de respuesta antes de llevar a cabo la regresión. En contraste $RSS$ mide la cantidad de variabilidad que se deja sin explicar despues de llevar a cabo la regresión. Por lo tanto $TSS-RSS$ expresa la cantidad de variabilidad en la variable de respuesta que es explicada al llevar a cabo la regresión, y $R^2$ mide la proporción de variabiliddad en $Y$ que puede ser explicada usando $X$. Una estadística $R^2$ cercana a 1 indica que una proporción considerable de la variabilidad en la variable de respuesta puede ser explicada por la regresión.

La estadística $R^2$ es una medida de la relación lineal entre $X$ y $Y$. Recordemos que la correlación, definida como

$$Cor(X,Y)=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{\sum _{i=1}^n(y_i-\overline{y}{)}^2}},$$

es también una medida de la relación lineal entre $X$ y $Y$. En el caso de la regresión lineal simple, $R^2=r^2$, donde $r=Cor(X,Y)$.

7.2 Regresión lineal múltiple

Consideremos $p$ variables explicativas (predictores) $\{X_1,\dots X_p\}$, entonces el modelo de la regresión lineal múltiple es de la forma

$$Y={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p+ϵ,$$

donde ${\beta }_j$ cuantifica la asociación entre $X_j$ y $Y$ y se interpreta como el efecto promedio en $Y$ por una unidad de incremento en $X_j$ manteniendo las demás variables independientes fijas.

7.2.1 Estimación de los coeficientes de regresión

Los coeficientes ${\beta }_0,{\beta }_1,\dots ,{\beta }_p$ son desconocidos. Dados los valores estimados ${\hat{\beta }}_0,{\hat{\beta }}_1,\dots ,{\hat{\beta }}_p$, se calculan predicciones por medio de

$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1+{\hat{\beta }}_2{x}_2+\cdots ,{\hat{\beta }}_p{x}_p.$$

Los coeficientes ${\beta }_0,{\beta }_1,\dots ,{\beta }_p$ minimizan la suma del cuadrado de los residuos

$$\begin{array}{rl}RSS=& \sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2\\ =& \sum _{i=1}^n(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_{i1}-{\hat{\beta }}_2{x}_{i2}-\cdots -{\hat{\beta }}_p{x}_{ip}{)}^2.\end{array}$$

7.2.2 Relación entre la variable de respuesta y las variables explicativas.

En la regresión lineal múltiple con $p$ variables indpendientes se evalúa si todos los coeficientes de la regresión lineal son cero, es decir, si ${\beta }_1={\beta }_2=\cdots ={\beta }_p=0$. Esto se lleva a cabo por medio de una prueba de hipótesis, donde la hipótesis nula es

$$H_0:{\beta }_1={\beta }_2=\cdots ={\beta }_p=0$$

contra la alternativa

$$H_a:\text{ al menos una de las }{\beta }_j\text{ es diferente de cero.}$$

La prueba de hipótesis se realiza calculando la estadística $F$,

$$F=\frac{(TSS-RSS)/p}{RSS/(n-p-1)}$$

donde, como en la regresión lineal simple $TSS=\sum (y_i-\overline{y})$ y $RSS=\sum (y_i-{\hat{y}}_i{)}^2$. Si las suposiciones del modelo lineal son correctas, se puede demostrar que

$$E\{RSS/n-p-1\}={\sigma }^2$$

y que, considerando que $H_0$ es verdadera

$$E\{(TSS-RSS)/p\}={\sigma }^2.$$

Por lo tanto, cuando no existe relación entre la variable de respuesta y los predictores, se esperaría que la estadística $F$ tome valores cercanos a 1. Por otro lado, si $H_a$ es verdadera, entonces $E\{(TSS-RSS/p)\}>{\sigma }^2$, luego, se tendrían valores de $F$ mayores que 1.

Cuando $n$ es grande, una estadística $F$ que sea ligeramente mayor que 1 aún podría brindar evidencia contra $H_0$. En contraste, es necesaria una estadística $F$ mucho mayor que 1 para rechazar $H_0$ si el número de observaciones no es muy grande. Cuando $H_0$ es verdadera y los errores ${ϵ}_i$ tienen distribución normal, la estadística $F$ tiene distribución $F$. Para cualquier valor de $n$ y $p$ se calcula el valor $p$ asociado con la estadística $F$ usando tal distribución.