Medidas de complejidad del modelo.

¿Cómo podemos comparar la complejidad de dos modelos con el mismo número de parámetros?

Edición 19/09 : para aclarar, la complejidad del modelo es una medida de lo difícil que es aprender de datos limitados. Cuando dos modelos se ajustan igualmente bien a los datos existentes, un modelo con menor complejidad dará menos errores en los datos futuros. Cuando se usan aproximaciones, técnicamente esto no siempre es cierto, pero está bien si tiende a ser cierto en la práctica. Diversas aproximaciones dan diferentes medidas de complejidad

Además de las diversas medidas de Longitud mínima de descripción (por ejemplo, probabilidad máxima normalizada, aproximación de información de Fisher), hay otros dos métodos que vale la pena mencionar:

1. Bootstrap paramétrico . Es mucho más fácil de implementar que las exigentes medidas de MDL. Un buen artículo es de Wagenmaker y colegas:
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P. e Iverson, GJ (2004). Evaluación de la imitación del modelo utilizando el bootstrap paramétrico . Revista de Psicología Matemática , 48, 28-50.
   El abstracto:

   Presentamos un procedimiento de muestreo general para cuantificar el mimetismo del modelo, definido como la capacidad de un modelo para dar cuenta de los datos generados por un modelo competidor. Este procedimiento de muestreo, llamado método de ajuste cruzado bootstrap paramétrico (PBCM; cf. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)), genera distribuciones de diferencias en la bondad de ajuste esperado bajo cada uno de los modelos de la competencia. En la versión informada de datos del PBCM, los modelos generadores tienen valores de parámetros específicos obtenidos ajustando los datos experimentales bajo consideración. Las distribuciones de diferencias informadas por los datos se pueden comparar con la diferencia observada en la bondad del ajuste para permitir una cuantificación de la adecuación del modelo. En la versión no informada de datos del PBCM, Los modelos generadores tienen un rango relativamente amplio de valores de parámetros basados ​​en el conocimiento previo. La aplicación de los datos informados y los datos no informados PBCM se ilustra con varios ejemplos.

   Actualización: Evaluación de la imitación del modelo en inglés simple. Usted toma uno de los dos modelos de la competencia y elige aleatoriamente un conjunto de parámetros para ese modelo (ya sea información informada o no). Luego, produce datos de este modelo con el conjunto de parámetros seleccionados. A continuación, permite que ambos modelos se ajusten a los datos producidos y comprueba cuál de los dos modelos candidatos ofrece el mejor ajuste. Si ambos modelos son igualmente flexibles o complejos, el modelo a partir del cual usted produjo los datos debería ajustarse mejor. Sin embargo, si el otro modelo es más complejo, podría dar un mejor ajuste, aunque los datos se obtuvieron del otro modelo. Repite esto varias veces con ambos modelos (es decir, deje que ambos modelos produzcan datos y observe cuál de los dos se ajusta mejor). El modelo que "sobreajusta" los datos producidos por el otro modelo es el más complejo.

2. Validación cruzada : también es bastante fácil de implementar. Ver las respuestas a esta pregunta . Sin embargo, tenga en cuenta que el problema con esto es que la elección entre la regla de corte de muestra (dejar uno, K-fold, etc.) no tiene principios.

Creo que dependería del procedimiento de ajuste del modelo real. Para una medida generalmente aplicable, puede considerar los Grados de libertad generalizados descritos en Ye 1998 , esencialmente la sensibilidad del cambio de las estimaciones del modelo a la perturbación de las observaciones, que funciona bastante bien como una medida de la complejidad del modelo.

La longitud mínima de descripción (MDL) y la longitud mínima de mensaje (MML) ciertamente valen la pena.

En lo que respecta a MDL, un documento simple que ilustra el procedimiento de Máxima Verosimilitud Normalizada (NML) así como la aproximación asintótica es:

S. de Rooij y P. Grünwald. Un estudio empírico de selección de modelo de longitud de descripción mínima con complejidad paramétrica infinita. Revista de psicología matemática, 2006, 50, 180-192

Aquí, observan la complejidad del modelo de una distribución Geométrica versus una distribución de Poisson. Un excelente tutorial (gratuito) sobre MDL se puede encontrar aquí .

Alternativamente, aquí se puede encontrar un documento sobre la complejidad de la distribución exponencial examinada con MML y MDL . Desafortunadamente, no hay un tutorial actualizado sobre MML, pero el libro es una referencia excelente y muy recomendable.

Descripción mínima La longitud puede ser una vía que vale la pena seguir.

Por "complejidad del modelo" generalmente se entiende la riqueza del espacio modelo. Tenga en cuenta que esta definición no depende de los datos. Para los modelos lineales, la riqueza del espacio modelo se mide trivialmente con la disminución del espacio. Esto es lo que algunos autores llaman los "grados de libertad" (aunque históricamente, los grados de libertad estaban reservados para la diferencia entre el espacio modelo y el espacio muestral). Para modelos no lineales, cuantificar la riqueza del espacio es menos trivial. Los Grados de Libertad Generalizados (ver la respuesta de ars) es una medida de este tipo. De hecho, es muy general y se puede utilizar para cualquier espacio modelo "extraño", como árboles, KNN y similares. La dimensión VC es otra medida.

Como se mencionó anteriormente, esta definición de "complejidad" es independiente de los datos. Por lo tanto, dos modelos con el mismo número de parámetros tendrán típicamente la misma "complejidad".

De los comentarios de Yaroslav a la respuesta de Henrik:

pero la validación cruzada parece solo posponer la tarea de evaluar la complejidad. Si usa datos para elegir sus parámetros y su modelo como en la validación cruzada, la pregunta relevante se convierte en cómo estimar la cantidad de datos necesarios para que este "meta" -fitter funcione bien

$k$$k$$k$$CV(k)$$k$$k$

Incluso podría darle un sabor de 'importancia' a esto, ya que el resultado del procedimiento es directamente en términos (unidades) de diferencia en el error de pronóstico fuera de la muestra.

¿Qué pasa con el criterio de información para la comparación de modelos? Ver, por ejemplo, http://en.wikipedia.org/wiki/Akaike_information_criterion

La complejidad del modelo es aquí el número de parámetros del modelo.