¿Por qué los residuos de Pearson de una regresión binomial negativa son más pequeños que los de una regresión de Poisson?

Tengo estos datos:

set.seed(1)
predictor  <- rnorm(20)
set.seed(1)
counts <- c(sample(1:1000, 20))
df <- data.frame(counts, predictor)

Corrí una regresión de Poisson

poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson")

Y una regresión binomial negativa:

require(MASS)
nb_counts <- glm.nb(counts ~ predictor, data = df)

Luego calculé las estadísticas de dispersión para la regresión de Poisson:

sum(residuals(poisson_counts, type="pearson")^2)/df.residual(poisson_counts)

# [1] 145.4905

Y la regresión binomial negativa:

sum(residuals(nb_counts, type="pearson")^2)/df.residual(nb_counts)

# [1] 0.7650289

¿Alguien puede explicar, SIN USAR ECUACIONES, por qué el estadístico de dispersión para la regresión binomial negativa es considerablemente más pequeño que el estadístico de dispersión para la regresión de Poisson?

generalized-linear-model residuals negative-binomial poisson-regression dispersion luciano
fuente

Respuestas:

Esto es bastante sencillo, pero el "sin usar ecuaciones" es una desventaja sustancial. Puedo explicarlo en palabras, pero esas palabras necesariamente reflejarán ecuaciones. Espero que sea aceptable / aún de algún valor para usted. (Las ecuaciones relevantes no son difíciles).

Existen varios tipos de residuos. Los residuos sin procesar son simplemente la diferencia entre los valores de respuesta observados (en su caso, el counts) y los valores de respuesta pronosticados del modelo. Los residuos de Pearson los dividen por la desviación estándar (la raíz cuadrada de la función de varianza para la versión particular del modelo lineal generalizado que está utilizando).

La desviación estándar asociada con la distribución de Poisson es menor que la del binomio negativo . Por lo tanto, cuando divide por un denominador más grande, el cociente es más pequeño.

Además, el binomio negativo es más apropiado para su caso, ya countsque se distribuirá como un uniforme en la población. Es decir, su varianza no será igual a su media.

gung - Restablece a Monica
fuente

Aunque el OP solicita una explicación no matemática, aún sería bueno ver una justificación matemática (o alguna justificación igualmente rigurosa y clara) para esta respuesta. Al leer la pregunta, mi intuición fue que "Debido a que el Poisson es un caso especial (limitante) del NB y el NB tiene más parámetros, hay más flexibilidad en el ajuste, por lo que, por supuesto, cualquier medida razonable de residuos no debe aumentar al reemplazar un Poisson GLM por un NB GLM ". Me pregunto si tal intuición era realmente correcta.

whuber

. Si

X \sim Poisson (λ)

$X\sim\text{Poisson}(\lambda)$

E [X] = V [X] = λ

$E[X]=V[X]=\lambda$

X \sim NegBin (r, p)

$X\sim\text{NegBin}(r,p)$

E [X] = p r / (1 - p)

$E[X]=pr/(1-p)$

V [X] = p r / (1 - p)^{2}

$V[X]=pr/(1-p)^2$ . Entonces, una varianza de Poisson es igual a la media, una varianza NegBin es mayor que la media (

). Es por esto que "la desviación estándar asociada con la distribución de Poisson es menor que la del binomio negativo".

p < 1 \Rightarrow (1 - p)^{2} < (1 - p)

$p<1\Rightarrow (1-p)^2<(1-p)$

Sergio

\hat{λ}

$\hat\lambda$

λ

$\lambda$

\hat{r}

$\hat{r}$

\hat{p}

$\hat{p}$

Las estimaciones de MLE son consistentes. El problema es que cuando, como dice Gung, "los recuentos se distribuirán como un uniforme en la población. Es decir, su varianza no será igual a su media", nunca podrá obtener una varianza de Poisson estimada mayor que una estimada Poisson significa, incluso si sus estimaciones son imparciales y consistentes. Es un problema de especificación errónea.

Sergio

$i$ $Y_i$ $\mu_i$ $\mu_i$

\frac{y_{i} - {\hat{μ}}_{i}}{\sqrt{{\hat{μ}}_{i}}}

$\frac{y_i-\hat\mu_i}{\sqrt{\hat\mu_i}}$

$\hat\mu$ $i$ $Y_i$ $\mu_i$ $\mu_i + \frac{\mu^2}{\theta}$

\frac{y_{i} - {\tilde{μ}}_{i}}{\sqrt{{\tilde{μ}}_{i} + \frac{{\tilde{μ}}^{' 2}}{θ}}}

$\frac{y_i-\tilde\mu_i}{\sqrt{\tilde\mu_i+\frac{\tilde\mu'^2}{\theta}}}$

$\tilde\mu$ $\theta$ $\hat\mu\neq\tilde\mu$ $i$ Con el patrón predictivo, se acercarían y, en general, agregar un parámetro debería dar un mejor ajuste en todas las observaciones, aunque no sé cómo demostrarlo rigurosamente. De todos modos, las cantidades de población que está estimando son mayores si se cumple el modelo de Poisson, por lo que no debería ser una sorpresa.]

Scortchi - Restablece a Monica
fuente

μ_{i}

$\mu_i$

@whuber En este caso, resulta que los valores ajustados para ambos modelos son casi idénticos. Después de todo, el modelo "verdadero" realmente solo tiene una intersección y básicamente está modelando la media ya que no hay relación entre x e Y en la simulación.

jsk

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

(y_{i} | λ, v_{i}, r) \sim P o i s s o n (λ v_{i})

$( y_i|\lambda, v_i, r)\sim Poisson (\lambda v_i)$

(v_{i} | λ, r) \sim G a m m a (r, r)

$(v_i|\lambda, r)\sim Gamma(r, r)$

(y_{i} | λ, r) \sim N B (r, \frac{λ}{r + λ})

$( y_i|\lambda, r)\sim NB (r,\frac {\lambda}{r+\lambda} )$

v_{i}

$v_i$

y_{i} > λ

$y_i>\lambda$

v_{i} > 1

$v_i> 1$