Ratio de probabilidades vs ratio de PDF

Estoy usando Bayes para resolver un problema de agrupamiento. Después de hacer algunos cálculos termino con la necesidad de obtener la razón de dos probabilidades:

P (A) / P (B)

$P(A)/P(B)$

para poder obtener . Estas probabilidades se obtienen mediante la integración de dos KDE multivariados 2D diferentes como se explica en esta respuesta : $P(H|D)$

P (A) = \iint_{x, y : \hat{f} (x, y) < \hat{f} (r_{a}, s_{a})} \hat{f} (x, y) d x d y

$P(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} \hat{f}(x,y)\,dx\,dy$

P (B) = \iint_{x, y : \hat{g} (x, y) < \hat{g} (r_{b}, s_{b})} \hat{g} (x, y) d x d y

$P(B) = \iint_{x, y : \hat{g}(x, y) < \hat{g}(r_b, s_b)} \hat{g}(x,y)\,dx\,dy$

donde $\hat{f}(x, y)$ y $\hat{g}(x, y)$ son los KDE y la integración se realiza para todos los puntos por debajo de los umbrales $\hat{f}(r_a, s_a)$ y $\hat{g}(r_b, s_b)$ . Ambos KDE utilizan un núcleo gaussiano . Aquí se puede ver una imagen representativa de un KDE similar a las que estoy trabajando: Integrando el estimador de densidad del núcleo en 2D .

Calculo los KDE por medio de una pythonfunción stats.gaussian_kde , por lo que asumo la siguiente forma general:

K D E (x, y) = \frac{1}{n} \sum_{i = 1}^{n} - \frac{1}{2 h^{2}} e^{- \frac{(x - x_{i})^{2} + (y - y_{i})^{2}}{2 h^{2}}}

$KDE(x,y) = \frac{1}{n} \sum_{i=1}^{n} -\frac{1}{2h^2} e^{-\frac{(x-x_i)^2 + (y-y_i)^2}{2h^2}}$

donde nes la longitud de mi conjunto de puntos y hes el ancho de banda utilizado.

Las integrales anteriores se calculan aplicando un proceso de Monte Carlo que es bastante costoso computacionalmente. Leí en alguna parte (olvidé dónde, lo siento) que en casos como este es posible reemplazar la razón de probabilidades por la razón de PDF (KDE) evaluados en los puntos de umbral para obtener resultados igualmente válidos. Estoy interesado en esto porque calcular la relación de KDE es un orden de magnitud más rápido que calcular la relación de las integrales con MC.

Entonces la pregunta se reduce a la validez de esta expresión:

\frac{P (A)}{P (B)} = \frac{\hat{f} (r_{a}, s_{a})}{\hat{g} (r_{b}, s_{b})}

$\frac{P(A)}{P(B)} = \frac{\hat{f}(r_a, s_a)}{\hat{g}(r_b, s_b)}$

¿En qué circunstancias, si las hay, puedo decir que esta relación es verdadera?

[error tipográfico fijo (EDITAR)]

Añadir :

Aquí está básicamente la misma pregunta pero hecha en una forma más matemática .

probability bayesian maximum-likelihood kernel-smoothing Gabriel
fuente

Tenga en cuenta que la existencia de adecuada está garantizada por el teorema de valor medio para integrales.

r_{a, b}, s_{a, b}

$r_{a,b}, s_{a,b}$

Dave

Creo que Mills Ratio puede ser relevante.

whuber

@whuber esa proporción aparentemente requiere que sepa P(X)cuál es el valor que estoy tratando de evitar calcular. ¿Podría ampliar un poco la relevancia de ese parámetro?

Gabriel

Respuestas:

El KDE es una mezcla de distribuciones normales. Veamos uno solo de ellos.

Las definiciones de y muestran que sus valores son invariables bajo traducciones y reescalamientos en el plano, por lo que es suficiente considerar la distribución Normal estándar con PDF . La desigualdad $P(A)$ $P(B)$ $f$

f (x, y) \leq f (r, s)

$f(x,y) \le f(r,s)$

es equivalente a

x^{2} + y^{2} \geq r^{2} + s^{2} .

$x^2 + y^2 \ge r^2 + s^2.$

Introduciendo las coordenadas polares permite reescribir la integral $\rho, \theta$

P (r, s) = \frac{1}{2 π} \int_{0}^{2 π} \int_{\sqrt{r^{2} + s^{2}}}^{\infty} ρ \exp (- ρ^{2} / 2) d ρ d θ = \exp (- (r^{2} + s^{2}) / 2) = 2 π f (r, s) .

$P(r,s) = \frac{1}{2\pi}\int_0^{2\pi}\int_\sqrt{r^2+s^2}^\infty \rho \exp(-\rho^2/2) d\rho d\theta= \exp(-(r^2+s^2)/2) = 2\pi f(r,s).$

Ahora considere la mezcla. Porque es lineal,

\begin{aligned} P (r, s) & = \frac{1}{n} \sum_{i} 2 π f ((r - x_{i}) / h, (s - y_{i}) / h) \\ = 2 π h^{2} (\frac{1}{n} \sum_{i} \frac{1}{h^{2}} f ((r - x_{i}) / h, (s - y_{i}) / h)) \\ = 2 π h^{2} K D E (r, s) . \end{aligned}

$\eqalign{ P(r,s) &= \frac{1}{n}\sum_i 2\pi f((r-x_i)/h, (s-y_i)/h) \\ &= 2\pi h^2\left(\frac{1}{n}\sum_i \frac{1}{h^2} f((r-x_i)/h, (s-y_i)/h)\right) \\ &=2\pi h^2 KDE(r,s). }$

De hecho, y son proporcionales. La constante de proporcionalidad es . $f$ $P$ $2\pi h^2$

Que tal relación de proporcionalidad entre y sea especial $P$ $f$ se puede apreciar contemplando un contraejemplo simple. Deje que tenga una distribución uniforme en un conjunto medible de unidad de área y tenga una distribución uniforme en un conjunto medible que es disjunto de y tiene un área . Entonces la mezcla con PDF tiene un valor constante en , en , y es cero en otro lugar. Hay tres casos a considerar: $f_1$ $A_1$ $f_2$ $A_2$ $A_1$ $\mu\gt 1$ $f=f_1/2 + f_2/2$ $1/2$ $A_1$ $1/(2\mu)$ $A_2$

$(r,s)\in A_1$ . Aquí 1/2 alcanza su máximo, de donde . La relación . $f(r,s)=1/2$ $P(r,s)=1$ $f(r,s)/P(r,s) = 1/2$
$(r,s)\in A_2$ . Aquí es estrictamente menor que pero mayor que . Por lo tanto, la región de integración es el complemento de y la integral resultante debe ser igual a . La relación . $f(r,s)$ $1/2$ $0$ $A_1$ $1/2$ $f(r,s)/P(r,s) = (1/(2\mu))/(1/2) = 1/\mu$
En otro lugar, es cero y la integral es cero. $f$ $P$

Evidentemente, la relación (donde se define) no es constante y varía entre y . Aunque esta distribución no es continua, puede hacerse agregando una distribución Normal . Al hacer que ambos valores propios de pequeños, esto cambiará muy poco la distribución y producirá cualitativamente los mismos resultados, solo que ahora los valores de la relación incluirán todos los números en el intervalo . $1$ $1/\mu \ne 1$ $(0,\Sigma)$ $\Sigma$ $f/P$ $[1,1/\mu]$

Este resultado tampoco se generaliza a otras dimensiones. Esencialmente, el mismo cálculo que inició esta respuesta muestra que es una función Gamma incompleta y que claramente no es lo mismo que . Se puede apreciar que dos dimensiones son especiales al observar que la integración en concierne esencialmente a las distancias y cuando están normalmente distribuidas, la función de distancia tiene una , que es la distribución exponencial. La función exponencial es única en ser proporcional a su propia derivada, de donde el integrando integral deben ser proporcionales. $P$ $f$ $P$ $\chi^2(2)$ $f$ $P$

whuber
fuente

Esta es una respuesta increíble, muchas gracias. Me llevará un tiempo procesar completamente todo lo que ha escrito aquí, pero confío completamente en sus cálculos, lo que significa que marqué la pregunta como resuelta. Salud.

Gabriel