Supongamos que tenemos una muestra aleatoria de una distribución normal bivariada que tiene ceros como medias y unos como varianzas, por lo que el único parámetro desconocido es la covarianza. ¿Cuál es el MLE de la covarianza? Sé que debería ser algo así como pero ¿cómo sabemos esto?
10
Respuestas:
El estimador del coeficiente de correlación (que en el caso de un estándar bivariado normal es igual a la covarianza)
es el estimador del Método de Momentos, la covarianza muestral. Veamos si coincide con el estimador de máxima verosimilitud, .ρ^
La densidad articular de un estándar bivariado normal con coeficiente de correlación esρ
y entonces la probabilidad logarítmica de una muestra iid de tamaño esnorte
(aquí la suposición de iid es con respecto a cada dibujo de la población bidimensional, por supuesto)
Tomar la derivada con respecto a y establecerla igual a cero da un polinomio de grado 3d en ρ :ρ ρ
Se puede verificar que los cálculos sean correctos si se toma el valor esperado de la derivada evaluada con el coeficiente verdadero será igual a cero.ρ
Por compacidad, de escritura , que es la suma de la muestra de varianzas de X y Y . Si dividimos la expresión de la 1ª derivada por n , aparecerá el estimador MoM, específicamente( 1 / n ) ∑nortei = 1( x2yo+ y2yo) = ( 1 / n ) S2 X Y norte
Haciendo el álgebra, no es difícil concluir que obtendremos ρ = ~ r si, y sólo si, ( 1 / n ) S 2 = 2 , es decir, sólo si se da la circunstancia de que la suma de las varianzas de muestra es igual a la suma de verdaderas variaciones. Entonces en generalρ^= r~ ( 1 / n ) S2= 2
Entonces, ¿qué pasa aquí? Alguien más sabio lo explicará, por el momento, intentemos una simulación: generé una muestra iid de dos normales estándar con coeficiente de correlación . El tamaño de la muestra fue n = 1.000 . Los valores de la muestra fueronρ = 0.6 n = 1.000
El estimador del Método de Momentos nos da
¿Qué pasa con el log-verosimilitud? Visualmente tenemos
Numéricamente tenemos
y vemos que el logaritmo de la verosimilitud tiene un máximo un poco antes de , donde también la primera derivada se convierte en cero ( ρ = 0,558985 ) . No hay sorpresas para los valores de ρ no mostrados. Además, la primera derivada no tiene otra raíz.ρ = 0.56 ( ρ^= 0.558985 ) ρ
Entonces, esta simulación concuerda con el resultado de que el estimador de máxima verosimilitud no es igual al método del estimador de momentos (que es la covarianza de la muestra entre los dos rv).
Pero parece que "todos" están diciendo que debería ... así que alguien debería dar una explicación.
ACTUALIZAR
Una referencia que prueba que el MLE es el estimador del Método de Momentos: Anderson, TW y Olkin, I. (1985). Estimación de máxima verosimilitud de los parámetros de una distribución normal multivariante. Álgebra lineal y sus aplicaciones, 70, 147-171.
¿Importa que aquí todos los medios y las variaciones sean libres de variar y no repararse?
... Probablemente sí, porque el comentario de @ guy en otra respuesta (ahora eliminada) dice que, con los parámetros de media y varianza dados , la bivariada normal se convierte en un miembro de la familia exponencial curva (y algunos resultados y propiedades cambian) ... que parece ser la única forma de conciliar los dos resultados.
fuente
fuente