¿Cómo sé qué método de estimación de parámetros elegir?

Existen bastantes métodos para la estimación de parámetros. MLE, UMVUE, MoM, decisión teórica y otros parecen tener un caso bastante lógico de por qué son útiles para la estimación de parámetros. ¿Es algún método mejor que los demás, o es solo una cuestión de cómo definimos cuál es el estimador de "mejor ajuste" (similar a cómo minimizar los errores ortogonales produce diferentes estimaciones desde un enfoque de mínimos cuadrados ordinarios)?

Aquí hay una ligera confusión de dos cosas: métodos para derivar estimadores y criterios para evaluar estimadores. La probabilidad máxima (ML) y el método de momentos (MoM) son formas de derivar estimadores; La imparcialidad de varianza mínima uniforme (UMVU) y la teoría de la decisión son criterios para evaluar diferentes estimadores una vez que los tiene, pero no le dirán cómo derivarlos.

De los métodos para derivar estimadores, ML generalmente produce estimadores que son más eficientes (es decir, una varianza más baja) que MoM si conoce el modelo bajo el cual se derivaron sus datos (el 'proceso de generación de datos' (DGP) en la jerga). Pero MoM hace menos suposiciones sobre el modelo; como su nombre lo indica, solo usa uno o más momentos, generalmente solo la media o solo la media y la varianza, por lo que a veces es más robusto si no está seguro sobre el DGP. Puede haber más de un estimador MoM para el mismo problema, mientras que si conoce el DGP, solo hay un estimador ML.

De los métodos para evaluar estimadores, la teoría de la decisión depende de tener una función de pérdida para juzgar su estimador, aunque los resultados pueden ser bastante sólidos para un rango de funciones de pérdida 'razonables'. Los estimadores de UMVU a menudo ni siquiera existen; en muchos casos no existe un estimador imparcial que siempre tenga una varianza mínima. Y el criterio de imparcialidad también es de utilidad cuestionable, ya que no es invariable para las transformaciones. Por ejemplo, ¿preferiría un estimador imparcial de la razón de probabilidades o de la razón de probabilidades logarítmica? Los dos serán diferentes.

Sugeriría que el tipo de estimador depende de algunas cosas:

1. ¿Cuáles son las consecuencias de equivocar la estimación? (por ejemplo, ¿es menos malo si su estimador es demasiado alto, en comparación con demasiado bajo? ¿O es indiferente sobre la dirección del error? Si un error es dos veces más grande, ¿es el doble de malo? ¿Es un error porcentual o un error absoluto? ¿eso es importante? ¿Es la estimación el único paso intermedio que se requiere para la predicción? ¿el comportamiento de la muestra grande es más o menos importante que el comportamiento de la muestra pequeña?)
2. ¿Cuál es su información previa sobre la cantidad que está estimando? (por ejemplo, ¿cómo se relacionan funcionalmente los datos con su cantidad? ¿Sabe si la cantidad es positiva? ¿discreta? ¿Ha estimado esta cantidad antes? ¿Cuántos datos tiene? ¿Hay alguna estructura de "invariancia grupal" en sus datos?)
3. ¿Qué software tienes? (por ejemplo, no es bueno sugerir MCMC si no tiene el software para hacerlo, o usar un GLMM si no sabe cómo hacerlo).

Los primeros dos puntos son específicos del contexto, y al pensar en su aplicación específica , generalmente podrá definir ciertas propiedades que le gustaría que tuviera su estimador. Luego elige el estimador que realmente puede calcular, que tiene la mayor cantidad de propiedades que desea que tenga.

Creo que la falta de contexto que tiene un curso de enseñanza con la estimación, significa que a menudo se utilizan criterios "predeterminados", de manera similar para la información previa (el "incumplimiento" más obvio es que conoce la distribución de muestreo de sus datos). Dicho esto, algunos de los métodos predeterminados son buenos, especialmente si no sabes lo suficiente sobre el contexto. Pero si hacer conocer el contexto, y tener las herramientas para incorporar ese contexto, entonces debería, pues de lo contrario puede obtener resultados contrarios a la intuición (debido a lo que se ignora).

No soy un gran admirador de MVUE como regla general, porque a menudo necesitas sacrificar demasiadas variaciones para obtener imparcialidad. Por ejemplo, imagina que estás lanzando dardos a un tablero de dardos y quieres golpear a la diana. Suponiendo que la desviación máxima de la diana es de 6 cm para una estrategia de lanzamiento particular, pero el centro de los puntos de dardos está a 1 cm por encima de la diana. Esto no es MVUE, porque el centro debería estar en la diana. Pero suponga que para desplazar la distribución hacia abajo 1 cm (en promedio), debe aumentar su radio al menos a 10 cm (por lo que el error máximo es ahora de 10 cm y no de 6 cm). Este es el tipo de cosas que pueden suceder con MVUE, a menos que la variación ya sea pequeña. Supongamos que fui un lanzamiento mucho más preciso y podría reducir mi error a 0.1 cm. ¡Ahora el sesgo realmente importa, porque nunca voy a dar en el blanco!

En resumen, para mí, el sesgo solo importa cuando es pequeño en comparación con la varianza. Y generalmente solo obtendrá pequeñas variaciones cuando tenga una muestra grande.