¿Por qué la probabilidad de registro debe ir a menos infinito cuando el parámetro se acerca al límite del espacio del parámetro?

8

En una conferencia reciente me dijeron que, para que la estimación de máxima verosimilitud sea válida, la probabilidad de registro debe ir a menos infinito a medida que el parámetro va al límite del espacio del parámetro. Pero no entiendo por qué esto es esencial. Supongamos que la probabilidad de registro va a algún tipo de asíntota. Entonces el parámetro que maximiza la probabilidad sigue siendo la estimación de máxima probabilidad, ¿verdad?

maximum-likelihood mrz
fuente
2
(+1) Gosh: así que si realizo el ajuste ML de una distribución Normal a mis datos y limito los posibles valores de la SD al rango de a y la media al rango supongo que mis estimaciones ya no serán válidas ... :-). Dado que esos puntos finales están más allá del rango de precisión de punto flotante IEEE, eso debe significar que nadie puede confiar en ninguno de los programas estadísticos que se ejecutan en dispositivos informáticos estándar. Debe ser hora de que todos saquemos ese viejo ábaco (está en el estante con la regla de cálculo) y volvamos a hacer los cálculos a mano. 10−1000101000±101000,
whuber
2
El argumento habitual para la normalidad asintótica del estimador ML utiliza una suposición de que el valor verdadero del parámetro está en el interior del espacio de parámetros. Presumiblemente, la suposición de la que estás hablando se usa para probar esta interioridad. La condición que mencionas definitivamente no es esencial, en el sentido de ser necesaria.
Bill
¿Cuál es el espacio de parámetros, cuál es el parámetro en cuestión y qué distribución? Lo que le dicen carece de mucha información crítica, para que uno pueda evaluar su validez.
Alecos Papadopoulos

Respuestas:

3

para que la estimación de máxima verosimilitud sea válida, la verosimilitud de probabilidad debe ir a menos infinito a medida que el parámetro va al límite

Esto equivale a decir que la probabilidad de un parámetro debe convertirse en 0 en el límite del espacio del parámetro para que el resultado sea válido.

Bueno, en primer lugar, puede restringir el espacio de parámetros a valores que tengan una probabilidad positiva y aún así obtener una estimación válida.

En segundo lugar, incluso si usa, digamos , no se acerca al límite ya que cualquier paquete de optimización listo para usar realiza algún tipo de inicialización aleatoria y luego se acerca al mínimo usando algún método como el gradiente Descenso, gradiente conjugado u otro. En cualquier caso, casi nunca terminas acercándote al límite del espacio de parámetros, por lo que no entiendo por qué los límites son importantes en primer lugar.(−∞,∞)

E incluso si lo hace a propósito, en un punto alcanzará la precisión de coma flotante de su sistema operativo. Puedo garantizarle que en ese momento, realmente no se ha acercado al límite por mucho. :)−∞

Personalmente, encuentro que el problema de subflujo surge al calcular sumas y productos de muy pequeñas probabilidades y el truco de suma de registros es un tema mucho más interesante y notable que realmente importa mucho en la práctica, a diferencia de alcanzar los límites del espacio de parámetros.

significado
fuente