Me pregunto si siempre hay un maximizador para cualquier problema de estimación de probabilidad máxima (log). En otras palabras, ¿hay alguna distribución y algunos de sus parámetros, para los cuales el problema MLE no tiene un maximizador?
Mi pregunta proviene de la afirmación de un ingeniero de que la función de costo (probabilidad o log-verosimilitud, no estoy seguro de cuál fue la intención) en MLE siempre es cóncava y, por lo tanto, siempre tiene un maximizador.
¡Gracias y saludos!
Respuestas:
Quizás el ingeniero tenía en mente familias exponenciales canónicas: en su parametrización natural, el espacio de parámetros es convexo y la probabilidad logarítmica es cóncava (ver Thm 1.6.3 en Estadística matemática de Bickel & Doksum , Volumen 1 ). Además, bajo algunas condiciones técnicas leves (básicamente que el modelo sea de "rango completo", o de manera equivalente, que el parámetro natural por identificable), la función log-verosimilitud es estrictamente cóncava, lo que implica que existe un maximizador único. (Corolario 1.6.2 en la misma referencia.) [Además, las notas de clase citadas por @biostat hacen el mismo punto.]
Tenga en cuenta que la parametrización natural de una familia exponencial canónica suele ser diferente de la parametrización estándar. Entonces, mientras @cardinal señala que la probabilidad logarítmica para la familia no es convexa en , será cóncava en los parámetros naturales, que son y . σ 2 η 1 = μ / σ 2 η 2 = - 1 / σ 2norte( μ , σ2) σ2 η1= μ / σ2 η2= - 1 / σ2
fuente
La función de probabilidad a menudo alcanza el máximo para la estimación del parámetro de interés. Sin embargo, en algún momento MLE no existe, como para la distribución de mezclas gaussianas o funciones no paramétricas, que tiene más de un pico (bi o multimodal). A menudo me enfrento al problema de estimar la genética de la población con parámetros desconocidos, es decir, tasas de recombinación, efecto de la selección natural.
Una de las razones también @cardinal señala que es un espacio paramétrico ilimitado.
Además, recomendaría el siguiente artículo , consulte la sección 3 (para la función) y la Fig.3. Sin embargo, hay información de documentos bastante útil y útil sobre MLE.
fuente
Admito que me falta algo, pero ...
Si este es un problema de estimación, y el objetivo es estimar un parámetro desconocido, y se sabe que el parámetro proviene de un conjunto cerrado y acotado, y la función de probabilidad es continua, entonces debe existir un valor para este parámetro que maximice La función de probabilidad. En otras palabras, un máximo tiene que existir. (No es necesario que sea único, pero debe existir al menos un máximo. No hay garantía de que todos los máximos locales sean máximos globales, pero esa no es una condición necesaria para que exista un máximo).
No sé si la función de probabilidad siempre tiene que ser convexa, pero esa no es una condición necesaria para que exista un máximo.
Si he pasado por alto algo, agradecería saber qué es lo que me estoy perdiendo.
fuente
Quizás alguien encuentre útil el siguiente ejemplo simple.
fuente