Regresión y correlación

Covarianza y correlación

Para N pares (x_i, y_i) la covarianza mide si las dos variables crecen a la vez (positiva) o una crece cuando la otra baja (negativa):

$σ_{xy} = {∑ x_i y_i}/N − x̄ ȳ$

Depende de las unidades, así que para medir la fuerza de la relación se divide entre las desviaciones típicas y sale el coeficiente de correlación de Pearson, que siempre está entre −1 y 1:

$r = σ_{xy}/{σ_x σ_y}$

• r = 1 o r = −1: los puntos están exactamente en una recta.
• |r| cerca de 1 (por encima de 0,9): correlación muy fuerte; entre 0,7 y 0,9, fuerte; entre 0,5 y 0,7, moderada; por debajo, débil.
• r cerca de 0: no hay relación lineal, aunque puede haber otra (una parábola, por ejemplo).

Correlación no es causalidad: dos variables pueden ir juntas porque las dos dependen de una tercera.

Las dos rectas de regresión

La recta de regresión de Y sobre X es la que hace mínima la suma de los cuadrados de las distancias verticales de los puntos a la recta (mínimos cuadrados). Sirve para estimar y conociendo x:

$y − ȳ = σ_{xy}/{σ_x^2} (x − x̄)$

Para estimar x conociendo y no se despeja esa recta, sino que se usa la de X sobre Y, que minimiza las distancias horizontales:

$x − x̄ = σ_{xy}/{σ_y^2} (y − ȳ)$

Las dos pasan por el centro de gravedad (x̄, ȳ) y el producto de sus pendientes (la segunda escrita como dx/dy) es r²: si |r| = 1 coinciden y si r = 0 son perpendiculares. El coeficiente de determinación r² es la parte de la variación de y que explica la recta. Una estimación es fiable si r² es alto y el valor está dentro del intervalo de los datos; fuera de él es una extrapolación.

Ajustes que no son rectas

Muchos ajustes se convierten en una recta cambiando de variable y se resuelven igual:

• Exponencial, $y = a e^{bx}$: tomando logaritmos, $ln y = ln a + b x$, una recta entre x y ln y.
• Potencial, $y = a x^b$: $ln y = ln a + b ln x$, una recta entre ln x y ln y.
• Logarítmico, $y = a + b ln x$: una recta entre ln x e y.
• Hiperbólico, $y = a + b/x$: una recta entre 1/x e y (por ejemplo, la ley de Boyle).
• Recta por el origen, $y = bx$: cuando la teoría dice que y = 0 si x = 0, se ajusta solo $b = {∑ x_i y_i}/{∑ x_i^2}$.

La parábola $y = a + bx + cx^2$ se ajusta directamente por mínimos cuadrados: se resuelve un sistema de tres ecuaciones (las ecuaciones normales). Para comparar ajustes se usa $R^2 = 1 − {∑ (y_i − ŷ_i)^2}/{∑ (y_i − ȳ)^2}$ en las y originales.

Con N o con N − 1

En bachillerato las varianzas y la covarianza se dividen entre N; en la carrera, muchas veces entre N − 1 (cuasivarianzas, $s_x^2$ y $s_{xy}$), porque estiman mejor las de la población. El coeficiente de correlación y las rectas salen iguales con unas o con otras.

Tabla de doble entrada

Cuando hay muchos datos repetidos se dan en una tabla: los valores de x en las filas, los de y en las columnas y en cada casilla cuántas veces aparece ese par. Cada casilla con frecuencia es un punto con su peso n_i.

Correlación de Spearman

Se cambia cada valor por su puesto de menor a mayor (su rango) y se calcula r con los rangos. Vale 1 si y crece siempre que crece x, aunque no sea en línea recta, y le afectan menos los puntos atípicos. Sin empates, $r_s = 1 − {6 ∑ d_i^2}/{n (n^2 − 1)}$, con $d_i$ la diferencia de rangos.

Error de la pendiente y de la ordenada

En las prácticas se da cada parámetro con su incertidumbre. Con $s_e = √({∑ (y_i − ŷ_i)^2}/{N − 2})$ y $S_{xx} = ∑ (x_i − x̄)^2$:

$s_b = s_e/√S_{xx}$,   $s_a = s_e √(1/N + x̄^2/S_{xx})$

El error se redondea a una cifra significativa (dos si empieza por 1) y el valor, a los mismos decimales: b = 0,0398 ± 0,0008. Con la t de Student de N − 2 grados de libertad salen los intervalos de confianza de la pendiente, de la ordenada y de una estimación.

Residuos y puntos atípicos

Si el modelo es el adecuado, los residuos $e_i = y_i − ŷ_i$ se reparten al azar alrededor de 0. Si forman una curva, hace falta otro ajuste. Un punto con un residuo de más de dos veces su desviación típica puede ser un error al medir o al copiar el dato.

¿Es significativa la correlación?

Con pocos datos puede salir un r alto por casualidad. Para contrastar si la correlación de la población ρ es distinta de cero se usa

$t = r √(N − 2)/√(1 − r^2)$

que, si ρ = 0, sigue una t de Student con N − 2 grados de libertad. Si el p-valor es menor que 0,05 la correlación es significativa al 5 %. Puedes calcular la t en Distribuciones de probabilidad.

Intervalo de confianza de ρ y comparación de dos correlaciones

El coeficiente r de una muestra estima la correlación ρ de la población. Como r está encerrado entre −1 y 1, su distribución es asimétrica; la transformación de Fisher $z = "artanh"(r)$ la convierte en casi normal, con desviación típica $1/√{N − 3}$. Se construye el intervalo en z y se deshace el cambio con la tangente hiperbólica. Para comparar las correlaciones de dos muestras independientes se restan sus z:

$z ± z_{α/2}/√{N − 3}$,   $ρ = "tanh"(z)$,   $Z = {z_1 − z_2}/{√(1/(N_1 − 3) + 1/(N_2 − 3))}$

Ajuste ponderado: cuando cada y tiene su error

En el laboratorio no todos los puntos se miden igual de bien. Si cada $y_i$ tiene su incertidumbre $σ_i$, la recta se ajusta dando a cada punto el peso $w_i = 1/σ_i^2$, es decir, minimizando $χ^2 = ∑ ((y_i − a − b x_i)/σ_i)^2$. Los errores de a y b salen entonces de las incertidumbres de los datos, y el $χ^2$ reducido ($χ^2$ entre $N − 2$) dice si la recta es compatible con ellos: cerca de 1, lo es; si es mucho mayor, o el modelo no es una recta o las incertidumbres están subestimadas.

$b = {S S_{xy} − S_x S_y}/Δ$,   $a = {S_{xx} S_y − S_x S_{xy}}/Δ$,   $σ_b = √{S/Δ}$,   $σ_a = √{S_{xx}/Δ}$,   $Δ = S S_{xx} − S_x^2$