Significado de 'número de parámetros' en AIC

21

Al calcular AIC,

$AIC = 2k - 2 ln L$

k significa 'número de parámetros'. Pero, ¿qué cuenta como parámetro? Así por ejemplo en el modelo

$y = ax + b$

¿A y b siempre se cuentan como parámetros? ¿Qué sucede si no me importa el valor de la intercepción, puedo ignorarla o todavía cuenta?

Y si

$y = a f(c,x) + b$

donde es una función de c y x, ¿ahora cuento 3 parámetros? $f$

aic Bob acto secundario
fuente

99

Esta es una buena pregunta, porque hay una sutileza: es el número de parámetros identificables a estimar. Por ejemplo, aunque en el modelo de regresión se escriben cinco parámetros, sin embargo . (Este modelo es equivalente a con y

, que explícitamente necesita solo cuatro parámetros .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

whuber

3

Estrictamente, cuenta todos los parámetros libres identificables: parámetros medios, parámetros de forma y escala, lo que sea (y es importante para AIC

_{C}

$_C$ ), pero para AIC no tiene ninguna consecuencia si omite parámetros comunes a los modelos que se comparan. Entonces, por ejemplo, en la regresión, debe contar el parámetro de varianza. Por lo tanto, según mi recuento, todos los recuentos de parámetros en su pregunta son uno corto, pero si hay exactamente uno en todos los modelos, no está de más descartarlo para AIC. R cuenta explícitamente el parámetro de varianza al calcular AIC en modelos de regresión.

Glen_b -Reinstate Monica

@whuber ¿Por qué este excelente comentario no se publica como respuesta? :)

Alexis

Gracias, Alexis. Publiqué este pensamiento como un comentario porque la idea está adecuadamente cubierta en la respuesta de P Schnell: solo quería enfatizarlo un poco más.

whuber

17

Como se mencionó mugen, representa el número de parámetros estimados . En otras palabras, es la cantidad de cantidades adicionales que necesita saber para especificar completamente el modelo. En el modelo de regresión lineal simple , puede estimar , o ambos. Cualquier cantidad que no calcule debe fijarla. No hay "ignorar" un parámetro en el sentido de que no lo conoce y no le importa. El modelo más común que no estima tanto como es el modelo sin intersección, donde fijamos . Esto tendrá 1 parámetro. Podrías arreglar fácilmente o $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ si tienes alguna razón para creer que refleja la realidad. (Punto fino: también es un parámetro en una regresión lineal simple, pero dado que está presente en cada modelo, puede descartarlo sin afectar las comparaciones de AIC).

σ

$\sigma$

Si su modelo es el número de parámetros depende de si fija alguno de estos valores y de la forma de . Por ejemplo, si queremos estimar y saber que , cuando escribimos el modelo tenemos con tres parámetros desconocidos. Sin embargo, si , entonces tenemos el modelo que realmente solo tiene dos parámetros: y .

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

Es crucial que sea una familia de funciones indexadas por . Si todo lo que sabe es que es continua y depende de y , entonces no tiene suerte porque hay innumerables funciones continuas. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

P Schnell
fuente

2

(+1) Quizás valga la pena mencionar que a lo largo de "estimación" significa "estimación por máxima verosimilitud".

Scortchi - Restablece a Monica

¿Eso realmente importa? De hecho, mi es una simulación enorme, imposible de separar analíticamente y que lleva horas calcular. Lo intento con unos 20 valores diferentes de porque eso es todo para lo que tenemos tiempo, y me quedo con el valor de que da el mejor al final del día. Por lo tanto, en una forma de hablar, he estimado lo mejor que puedo, aunque no como lo harías en una regresión. ¿Seguramente todavía cuenta como un parámetro para AIC?

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

Sideshow Bob

2

@SideshowBob: Sí, cuando compara dos modelos, la diferencia en las probabilidades de registro maximizadas es un estimador sesgado de la diferencia en la pérdida de información esperada de Kullback-Leibler y el término de penalización en AIC corrige aproximadamente ese sesgo.

Scortchi - Restablece a Monica

1

@SideshowBob: Debo mencionar que hay modificaciones de AIC para las ecuaciones de estimación generalizadas y similares, usan cuasi-verosimilitud maximizada y un término de penalización bastante más complejo.

Scortchi - Restablece a Monica

4

$\mathit{AIC} = 2k - 2\ln(L)$

(ver aquí )

$k$

No me siento lo suficientemente informado como para responder su segunda pregunta, lo dejaré para otro miembro de la comunidad.

mugen
fuente

1

λ

$\lambda$

1

Si, ciertamente.

PA6OTA

1

Primero, para aquellos que pueden no estar familiarizados con AIC: el Criterio de Información de Akaike (AIC) es una métrica simple diseñada para comparar la "bondad" de los modelos.

Según AIC, cuando se trata de elegir entre dos modelos diferentes que se aplican a las mismas variables de entrada y respuesta , es decir, modelos diseñados para resolver el mismo problema, el modelo con la AIC más baja se considera "mejor".

$k$

c $f(c, x)$ $k$

arielf
fuente

Significado de 'número de parámetros' en AIC

Respuestas: