Cálculo de probabilidad cuando es muy grande, ¿entonces la probabilidad se vuelve muy pequeña?

Estoy tratando de calcular esta distribución posterior:

(θ | -) = \frac{\prod_{i = 1}^{n} p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}}}{\sum_{all θ, p_{i} | θ} \prod_{i = 1}^{n} p_{i}^{y_{i}} (1 - p_{i})^{1 - y_{i}}}

$(\theta|-)=\frac{\prod_{i=1}^{n}p_i^{y_i}(1-p_i)^{1-y_i}}{\sum_{\text{all}\,\theta,p_i|\theta}\prod_{i=1}^{n}p_i^{y_i}(1-p_i)^{1-y_i}}$

El problema es que el numerador, que es el producto de un montón de probabilidades es demasiado pequeño. (Mi es grande, alrededor de 1500). $\text{Bernoulli}(p_i,y_i)$ $n$

Por lo tanto, los valores posteriores para all se calculan como 0 (estoy haciendo cálculos en R). $\theta$

Para aclarar, cada tiene su propia , juntas estas forman un vector de elementos para 's. Cada tiene su propio vector elemento de . $y_i$ $p_i$ $p_i$ $n$ $n$ $y$ $\theta$ $n$ $p_i$

EDITAR: Agregar un ejemplo de reproducción (para el numerador)

p <- sample(seq(0,1,by=0.01), 1500, replace=T)
y <- sample(c(0,1), 1500, replace=T)
dbern(y, p) # 1500-element vector, each element is < 1
prod(dbern(y, p)) # produce 0
exp(sum(log(dbern(y, p)))) # produce 0 since the sum is very negative

r likelihood posterior Heisenberg
fuente

¿Intentaste calcular la suma de los registros?

Ansari

Hay una discusión relacionada aquí . Tiene una discusión adicional de algunos de los detalles de tales cálculos.

Glen_b: reinstala a Monica

Respuestas:

Este es un problema común con el cálculo de probabilidades para todo tipo de modelos; Los tipos de cosas que se hacen comúnmente son trabajar en registros y usar un factor de escala común que lleve los valores a un rango más razonable.

En este caso, sugeriría:

Paso 1: Elija un , bastante "típico" . Divida la fórmula para el numerador y el denominador del término general por el numerador para , para obtener algo que sea mucho menos probable que se desborde. $\theta$ $\theta_0$ $\theta = \theta_0$

Paso 2: trabajar en la escala de registro, esto significa que el numerador es una exp de sumas de diferencias de registros, y el denominador es una suma de exp de sumas de diferencias de registros.

NB: Si alguno de sus p es 0 o 1, retírelos por separado y no tome registros de esos términos; ¡son fáciles de evaluar tal como están!

[En términos más generales, se puede ver que esta escala y trabajar en la escala de registro toma un conjunto de probabilidades de registro, y hace esto: . Una opción obvia para es hacer que el término más grande sea 0, lo que nos deja con: . Tenga en cuenta que cuando tiene un numerador y un denominador, puede usar la misma para ambos, que luego se cancelará. En lo anterior, eso corresponde a tomar con la mayor probabilidad de registro.] $l_i$ $\log(\sum_i e^{l_i})= c+\log(\sum_i e^{l_i−c})$ $c$ $\log(\sum_i e^{l_i})= \max_i(l_i)+\log(\sum_i e^{l_i−\max_i(l_i)})$ $c$ $\theta_0$

Los términos habituales en el numerador tenderán a ser de tamaño más moderado, por lo que en muchas situaciones el numerador y el denominador son relativamente razonables.

Si hay un rango de tamaños en el denominador, sume los más pequeños antes de agregar los más grandes.

Si solo unos pocos términos dominan en gran medida, debe centrar su atención en hacer el cálculo para aquellos relativamente precisos.

Glen_b -Reinstate a Monica
fuente

Pero para todos los theta, el numerador siempre va a 0. ¿Cómo divido el término general por el numerador? (Paso 1)

Heisenberg

El paso 1 es el álgebra, no el cálculo por computadora. Su propósito es darle algo en el Paso 2 para calcular que no se desborde. A menos que esté diciendo que siempre es algebraicamente cero ... en cuyo caso indudablemente está haciendo algo que no debería.

Glen_b -Reinstale a Monica el

Está bien, lo intentaré. El numerador no es exactamente 0, solo muy pequeño que R no puede calcular. ¡Gracias!

Heisenberg

Querido Dios, tienes razón! Muchísimas gracias. Todos siguen diciendo "use log.likelihood", pero solo usted realmente ve el problema.

Heisenberg

Intente capitalizar las propiedades de usar los logaritmos y la suma en lugar de tomar el producto de números decimales. Después de la suma simplemente use el anti-log para volver a ponerlo en su forma más natural. Creo que algo como esto debería hacer el truco

$\frac{exp(\sum_{i}^{n}(y_{i}*log(p_{i})+(1-y_{i})*log(1-p_{i})))}{\sum_{g}exp(\sum_{i}^{n}y_{i}*log(p_{i})+(1-y_{i})*log(1-p_{i}))}$

philchalmers
fuente

El numerador en su sugerencia todavía produce un 0 ya que la suma dentro de exp () sigue siendo muy negativa (<-1000). ¿Estoy haciendo algo mal? ¡Gracias por tu ayuda!

Heisenberg

Bueno, si cualquier valor en p es en realidad 0 o 1, entonces automáticamente el registro producirá -inf y también lo hará (1-p). De lo contrario, creo que los números se vuelven demasiado pequeños para volver a subir a la forma original.

philchalmers

Tenga en cuenta que puede sumar y restar cualquier constante de los términos dentro de la expresión anterior sin cambiar el resultado. ajuste igual al negativo del valor máximo de proporciona la mejor precisión numérica

c

$c$

\exp ()

$\exp()$

c

$c$

\log (p (θ | -))

$\log(p(\theta|-))$

probabilityislogic