¿Cambiar de modelar un proceso usando una distribución de Poisson para usar una distribución binomial negativa?

$\newcommand{\P}{\mathbb{P}}$ Tenemos un proceso aleatorio que puede-o-no-puede aparecer varias veces en un período determinado de tiempo $T$ . Tenemos una fuente de datos de un modelo preexistente de este proceso, que proporciona la probabilidad de que ocurran varios eventos en el período $0 \leq t < T$ . Este modelo existente es antiguo y necesitamos ejecutar verificaciones en vivo en los datos de alimentación para detectar errores de estimación. El modelo anterior que produce el suministro de datos (que proporciona la probabilidad de que ocurran $n$ eventos en el tiempo restante $t$ ) es aproximadamente distribuido por Poisson.

Entonces, para verificar anomalías / errores, dejamos que $t$ sea ​​el tiempo restante y $X_t$ sea ​​el número total de eventos que ocurrirán en el tiempo restante $t$ . El modelo anterior implica las estimaciones $\P(X_t \leq c)$ . Entonces, bajo nuestro supuesto $X_t\sim \operatorname{Poisson}(\lambda_{t})$ tenemos:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Para derivar nuestra tasa de eventos $\lambda_t$ de la salida del modelo antiguo (observaciones $y_{t}$ ), utilizamos un enfoque de espacio de estado y modelamos la relación de estado como: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Filtramos las observaciones del modelo anterior, utilizando un modelo de espacio de estado [decaimiento de velocidad constante] para la evolución de $\lambda_t$ para obtener el estado filtrado $E(\lambda_t|Y_t)$ y marcamos una anomalía / error en la frecuencia estimada del evento desde el feed-data if $E(\lambda_t|Y_t) < y_t$ .

Este enfoque funciona fantásticamente bien para detectar errores en los recuentos de eventos estimados durante todo el período de tiempo $T$ , pero no tan bien si queremos hacer lo mismo para otro período $0 \leq t < \sigma$ donde $\sigma < \frac{2}{3} T$ . Para evitar esto, hemos decidido que ahora queremos cambiar para usar la distribución binomial negativa, de modo que supongamos ahora $X_t\sim NB(r, p)$ y tenemos:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ donde el parámetro $\lambda$ ahora se reemplaza por $r$ y $p$. Esto debería ser sencillo de implementar, pero tengo algunas dificultades con la interpretación y, por lo tanto, tengo algunas preguntas con las que me gustaría que me ayudara:

1. ¿Podemos simplemente establecer $p = \lambda$ en la distribución binomial negativa? ¿Si no, porque no?

2. Suponiendo que podemos establecer $p = f(\lambda)$ donde $f$ es alguna función, ¿cómo podemos establecer correctamente $r$ (¿necesitamos ajustar $r$ usando conjuntos de datos pasados)?

3. ¿ Depende $r$ del número de eventos que esperamos que ocurran durante un proceso dado?

---

Anexo a la extracción de estimaciones para $r$ (y $p$ ):

Soy consciente de que si de hecho este problema se revirtiera y tuviéramos el recuento de eventos para cada proceso, podríamos adoptar el estimador de máxima verosimilitud para y . Por supuesto, el estimador de máxima verosimilitud solo existe para muestras para las cuales la varianza muestral es mayor que la media muestral, pero si este fuera el caso, podríamos establecer la función de verosimilitud para observaciones independientes distribuidas idénticamente como: desde el cual podemos escribir la función log-verosimilitud como: p N k 1 , k 2 , … , k N L ( r , p ) = N ∏ i = 1 P ( k i ; r , p ) , l ( r , p ) = N ∑ i = 1 ln ( Γ ( k i + r ) ) - N ∑$r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ rp ∂ r l ( r , p $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Para encontrar el máximo, tomamos las derivadas parciales con respecto a y y las establecemos iguales a cero: Establecer y establecer encontramos: $r$$p$∂rl(r,p)=∂pl(r,p)=0p= N ∑ i = 1 k $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$∂rl(r,p)=N∑i=1ψ(ki+r)-Nψ(r)+Nln($p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$r $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Esta ecuación no puede resolverse para r en forma cerrada usando Newton o incluso EM. Sin embargo, este no es el caso en esta situación. Aunque podríamos usar los datos pasados ​​para obtener una y estática, esto no es realmente un uso para nuestro proceso, necesitamos adaptar estos parámetros a tiempo, como hicimos con Poisson. $r$$p$

La distribución binomial negativa es muy similar al modelo de probabilidad binomial. es aplicable cuando los siguientes supuestos (condiciones) son válidos 1) Cualquier experimento se realiza en las mismas condiciones hasta que se alcanza un número fijo de éxitos, digamos C 2) El resultado de cada experimento se puede clasificar en una de las dos categorías , éxito o fracaso 3) La probabilidad P de éxito es la misma para cada experimento 40Cada experimento es independiente de todos los demás. La primera condición es el único factor clave de diferenciación entre binomial y binomial negativo.

La distribución de Poisson puede ser una aproximación razonable del binomio bajo ciertas condiciones como 1) La probabilidad de éxito para cada ensayo es muy pequeña. P -> 0 2) np = m (digamos) está bien La regla más utilizada por los estadísticos es que el poisson es una buena aproximación del binomio cuando n es igual o mayor que 20 y p es igual o menor que 5 %