¿Existe una estadística de ajuste del modelo (como AIC o BIC) que se puede usar para comparaciones absolutas en lugar de solo relativas?

No estoy tan familiarizado con esta literatura, así que perdóneme si esta es una pregunta obvia.

Dado que AIC y BIC dependen de maximizar la probabilidad, parece que solo se pueden usar para hacer comparaciones relativas entre un conjunto de modelos que intentan ajustarse a un conjunto de datos dado. Según tengo entendido, no tendría sentido calcular el AIC para el Modelo A en el conjunto de datos 1, calcular el AIC para el Modelo B en el conjunto de datos 2, y luego comparar los dos valores de AIC y juzgar eso (por ejemplo) El modelo A se ajusta al conjunto de datos 1 mejor que el modelo B se ajusta al conjunto de datos 2. O tal vez estoy equivocado y eso es algo razonable. Por favor hagamelo saber.

Mi pregunta es la siguiente: ¿existe una estadística de ajuste del modelo que se pueda utilizar para comparaciones absolutas en lugar de solo relativas? Para modelos lineales, algo como funcionaría; tiene un rango definido y disciplina ideas específicas sobre lo que es un "buen" valor. Estoy buscando algo más general y pensé que podría comenzar haciendo ping a los expertos aquí. Estoy seguro de que alguien ha pensado en este tipo de cosas antes, pero no conozco los términos correctos para hacer una búsqueda productiva en Google Scholar. $R^2$

Cualquier ayuda sería apreciada.

model-selection aic bic Nathan VanHoudnos
fuente

Si el modelo A se ajusta al conjunto de datos 1 y el modelo B se ajusta al conjunto de datos 2, no hay nada que comparar: los modelos y los datos son totalmente diferentes. Entonces, ¿qué estás tratando de lograr exactamente? Por cierto, es peor que inútil en este sentido; para algunas críticas, consulte stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

whuber

¿Qué quiere decir con algo "más general" podría dar un ejemplo a los otros tipos de modelos a los que le gustaría expandirse? Algunos modelos serán fáciles de adaptar a un enfoque , por ejemplo, ajustes de lowess, pero otros serán bastante difíciles, por ejemplo, ajustes de datos binomiales.

R^{2}

$R^2$

russellpierce

@whuber Wow, ¡esa es una respuesta increíble a la pregunta ! Pero, dejando de lado sus deficiencias, se usa para decir que su modelo es "bueno" en un sentido "absoluto" (por ejemplo, "Mi es tal y cual es mejor de lo que uno ve normalmente ... "). Estoy buscando una estadística más justificada (y general) que para lograr el mismo propósito (por ejemplo, "Mi MagicStatistic es tal y cual es mejor ...). Mi primer pensamiento ingenuo fue hacer algo como normalizando un puntaje de validación cruzada k-fold, pero no parece que alguien haya hecho algo así (por lo que probablemente no sea una buena idea).

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

Nathan VanHoudnos

R^{2}

$R^2$

R^{2}

$R^2$

Lo único que podría imaginar en el ámbito de lo que estás hablando sería medir la precisión de la predicción. La calidad de dos modelos en dos conjuntos de datos diferentes podría compararse según cuál predice mejor, aunque esto tampoco es perfecto.

Macro

¿Existe una estadística de ajuste del modelo (como AIC o BIC) que se puede usar para comparaciones absolutas en lugar de solo relativas?

Respuestas: