¿Por qué la correlación no es muy útil cuando una de las variables es categórica?

Esto es un poco de verificación intestinal, por favor, ayúdenme a ver si estoy malinterpretando este concepto y de qué manera.

Tengo una comprensión funcional de la correlación, pero me siento un poco aferrado a las pajitas para explicar con confianza los principios detrás de esa comprensión funcional.

Según tengo entendido, la correlación estadística (en oposición al uso más general del término) es una forma de entender dos variables continuas y la forma en que tienden o no a aumentar o disminuir de manera similar.

La razón por la que no puede ejecutar correlaciones en, por ejemplo, una variable continua y una variable categórica es porque no es posible calcular la covarianza entre las dos, ya que la variable categórica por definición no puede producir una media y, por lo tanto, ni siquiera puede entrar en la primera pasos del análisis estadístico.

¿Está bien?

La correlación es la covarianza estandarizada , es decir, la covarianza de $x$ y$y$ dividida por la desviación estándar de$x$ e$y$ . Déjame ilustrar eso.

En términos generales, las estadísticas se pueden resumir como modelos adecuados para los datos y evaluar qué tan bien el modelo describe esos puntos de datos ( Resultado = Modelo + Error ). Una forma de hacerlo es calcular las sumas de desviaciones o residuales (res) del modelo:

$res= \sum(x_{i}-\bar{x})$

Muchos cálculos estadísticos se basan en esto, incl. El coeficiente de correlación (ver abajo).

Aquí hay un conjunto de datos de ejemplo realizado R(los residuos se indican como líneas rojas y sus valores se agregan junto a ellos):

X <- c(8,9,10,13,15)  
Y <- c(5,4,4,6,8)

Al observar cada punto de datos individualmente y restar su valor del modelo (por ejemplo, la media; en este caso X=11Y=5.4$SS$

$SS = \sum(x_i-\bar{x})(x_i-\bar{x}) = \sum(x_i-\bar{x})^2$

$n-1$$s^2$

$s^2 = \frac{SS}{n-1} = \frac{\sum(x_i-\bar{x})(x_i-\bar{x})}{n-1} = \frac{\sum(x_i-\bar{x})^2}{n-1}$

Por conveniencia, se puede tomar la raíz cuadrada de la varianza de la muestra, que se conoce como la desviación estándar de la muestra:

$s=\sqrt{s^2}=\sqrt{\frac{SS}{n-1}}=\sqrt{\frac{\sum(x_i-\bar{x})^2}{n-1}}$

Ahora, la covarianza evalúa si dos variables están relacionadas entre sí. Un valor positivo indica que cuando una variable se desvía de la media, la otra variable se desvía en la misma dirección.

$cov_{x,y}= \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{n-1}$

$r$ . Esto permite comparar variables entre sí que se midieron en diferentes unidades. El coeficiente de correlación es una medida de la fuerza de una relación que varía de -1 (una correlación negativa perfecta) a 0 (sin correlación) y +1 (una correlación positiva perfecta).

$r=\frac{cov_{x,y}}{s_x s_y} = \frac{\sum(x_1-\bar{x})(y_i-\bar{y})}{(n-1) s_x s_y}$

$r=0.87$XY

En resumen, sí, tu sensación es correcta, pero espero que mi respuesta pueda proporcionar algún contexto.

Tienes (casi) razón. La covarianza (y, por lo tanto, la correlación también) solo se puede calcular entre variables numéricas. Eso incluye variables continuas pero también variables numéricas discretas.

Las variables categóricas podrían usarse para calcular la correlación solo si se les proporciona un código numérico útil, pero no es probable que esto obtenga una ventaja práctica; tal vez podría ser útil para algunas variables categóricas de dos niveles, pero es probable que otras herramientas sean más adecuadas.

No hay absolutamente nada de malo en las correlaciones informáticas donde una de las variables es categórica. Una correlación positiva fuerte implicaría que activar o desactivar su variable categórica (según su convención) provoca un aumento en la respuesta. Por ejemplo, esto podría suceder al calcular una regresión logística donde las variables son categóricas: predecir la posibilidad de un ataque cardíaco dadas las comorbilidades del paciente como la diabetes y el IMC. En este caso, el IMC tendría una correlación muy fuerte con los ataques cardíacos. ¿Llegarías a la conclusión de que eso no es útil?