Lanzar un modelo lineal multivariado como una regresión múltiple

20

¿La refundición de un modelo de regresión lineal multivariante como una regresión lineal múltiple es completamente equivalente? No me refiero a simplemente ejecutar regresiones separadas.t

He leído esto en algunos lugares (Bayesian Data Analysis - Gelman et al., Y Multivariate Old School - Marden) de que un modelo lineal multivariado se puede volver a parametrizar fácilmente como regresión múltiple. Sin embargo, ninguna fuente elabora esto en absoluto. Esencialmente solo lo mencionan, luego continúan usando el modelo multivariante. Matemáticamente, primero escribiré la versión multivariante,

YXRB

Yn×t=Xn×kBk×t+Rn×t,
donde las variables en negrita son matrices con sus tamaños debajo de ellas. Como de costumbre, son datos, es la matriz de diseño, son residuos distribuidos normalmente y es con lo que estamos interesados ​​en hacer inferencias.YXRB

Para volver a parametrizar esto como la familiar regresión lineal múltiple, uno simplemente reescribe las variables como:

ynt×1=Dnt×nkβnk×1+rnt×1,

donde las reparametrizaciones utilizadas son y=row(Y) , β=row(B) y D=XIn . row() significa que las filas de la matriz están dispuestas de extremo a extremo en un vector largo, y es el producto kronecker o externo.

Entonces, si esto es tan fácil, ¿por qué molestarse en escribir libros sobre modelos multivariados, probar estadísticas para ellos, etc.? Es más efectivo simplemente transformar las variables primero y usar técnicas univariadas comunes. Estoy seguro de que hay una buena razón, solo estoy teniendo dificultades para pensar en una, al menos en el caso de un modelo lineal. ¿Existen situaciones con el modelo lineal multivariado y errores aleatorios normalmente distribuidos en los que esta reparametrización no se aplica o limita las posibilidades del análisis que puede realizar?

Fuentes He visto esto: Marden - Estadísticas multivariantes: Old School. Ver secciones 5.3 - 5.5. El libro está disponible gratis en: http://istics.net/stat/

Gelman y col. - Análisis de datos bayesianos. Tengo la segunda edición, y en esta versión hay un pequeño párrafo en el cap. 19 'Modelos de regresión multivariante' titulado: "El modelo de regresión univariante equivalente"

Básicamente, ¿puede hacer todo con el modelo de regresión univariante lineal equivalente que podría hacer con el modelo multivariado? Si es así, ¿por qué desarrollar métodos para modelos lineales multivariados?

¿Qué pasa con los enfoques bayesianos?

bill_e
fuente
Es buena pregunta Puede ser que pueda pedir más en términos de fundamentos en lugar de una estructura.
Subhash C. Davar
1
¿Qué quieres decir con fundamentos en lugar de estructura? ¿Podrías dar más detalles?
bill_e
Puede notar que aprendí solo dos trabajos como parte de mi primer y posgrado hace mucho tiempo, no tengo preparación en las descripciones técnicas. Entiendo que el análisis multivariante tiene supuestos diferentes en comparación con una regresión lineal múltiple o simplemente un modelo de regresión lineal. Los supuestos para el análisis multivariante son diferentes, es decir, prevalece la expectativa matemática. La regresión lineal múltiple hace ciertas otras suposiciones que resultan en heterocedatismo. La estructura que quiero decir aquí se refiere a tus ecuaciones.
Subhash C. Davar
Debe decirlo claramente en el título o al principio si está hablando de un modelo lineal multivariado (general) o de una regresión multivariada bayesiana .
ttnphns
1
Ok, entonces ... no es mi enfoque, señalé dos lugares donde he visto esto. El enfoque es el quid de la cuestión. ¿Cuál es la diferencia entre la versión multivariada y la versión univariada reparameterizada?
bill_e

Respuestas:

5

Básicamente, ¿puede hacer todo con el modelo de regresión univariante lineal equivalente que podría hacer con el modelo multivariado?

Creo que la respuesta es no.

Si su objetivo es simplemente estimar los efectos (parámetros en ) o hacer más predicciones basadas en el modelo, entonces sí, no importa adoptar la formulación del modelo entre los dos.B

Sin embargo, para hacer inferencias estadísticas, especialmente para realizar la prueba de significación clásica, la formulación multivariada parece prácticamente insustituible. Más específicamente, permítanme usar el típico análisis de datos en psicología como ejemplo. Los datos de sujetos se expresan comon

Yn×t=Xn×kBk×t+Rn×t,

donde el variables explicativas (factor o / y covariables cuantitativos) entre sujetos se codifican como las columnas de , mientras que el de medidas repetidas (o dentro de la materia) los niveles de factor se representan como variables simultáneas o la columnas en .X t Yk1XtY

Con la formulación anterior, cualquier hipótesis lineal general se puede expresar fácilmente como

LBM=C,

donde se compone de los pesos entre las variables explicativas entre sujetos mientras que contiene los pesos entre los niveles de los factores de medidas repetidas, y es una matriz constante, generalmente .L C 0LLC0

La belleza del sistema multivariante radica en su separación entre los dos tipos de variables, entre y dentro del sujeto. Es esta separación la que permite la formulación fácil de tres tipos de pruebas de significación en el marco multivariante: la prueba multivariada clásica, la prueba multivariada de medidas repetidas y la prueba univariada de medidas repetidas. Además, las pruebas de Mauchly para la violación de la esfericidad y los métodos de corrección correspondientes (Greenhouse-Geisser y Huynh-Feldt) también se vuelven naturales para las pruebas univariadas en el sistema multivariado. Así es exactamente cómo los paquetes estadísticos implementaron esas pruebas, como el automóvil en R, GLM en IBM SPSS Statistics y la declaración REPETIDA en PROC GLM de SAS.

No estoy tan seguro de si la formulación importa en el análisis de datos bayesianos, pero dudo que la capacidad de prueba anterior pueda formularse e implementarse bajo la plataforma univariante.

Bluepole
fuente
Ya veo, esto tiene sentido. Gracias por la gran respuesta. Me encantaría escuchar una perspectiva bayesiana también.
bill_e
@ PeterRabbit Si le gusta la respuesta, exprese su gratitud a bluepole aceptando su respuesta. Obtendrá puntos.
pteetor
Sin embargo, solo aguantaba un poco para ver si alguien ofrecería una perspectiva bayesiana.
bill_e
4

Ambos modelos son equivalentes si se ajusta a la estructura de varianza-covarianza adecuada. En el modelo lineal transformado necesitamos ajustar la matriz de varianza-covarianza del componente de error con el producto kronecker que tiene disponibilidad limitada en los softwares informáticos disponibles. La teoría de modelos lineales: modelos univariados, multivariados y mixtos es una excelente referencia para este tema.

Editado

Aquí hay otra buena referencia disponible gratuitamente.

MYaseen208
fuente
2
Oh ok, entonces en un modelo univariante normal, no hay ningún tipo de estructura de covarianza "dentro" de los DV. Por lo tanto, las pruebas de hipótesis relacionadas con eso no existen. ¡Gracias! Veré si puedo recoger ese libro.
bill_e