¿Por qué el proceso Dirichlet no es adecuado para aplicaciones en no paramétricos bayesianos?

La naturaleza discreta del DP lo hace inadecuado para aplicaciones generales en no paramétricos bayesianos, pero es muy adecuado para el problema de colocar priors en los componentes de la mezcla en el modelado de mezclas.

Esta cita es de Procesos de Dirichlet jerárquicos (Teh, et al, (2006) $^{[1]}$ ) y estaba buscando una explicación sobre lo que significa. El término no paramétrico bayesiano parece ser un término demasiado vago para que entienda a qué se refiere el autor.

${[1]}$ Teh, YW, Jordan, MI, Beal, MJ, Blei, DM (2006): "Procesos jerárquicos de Dirichlet". Revista de la Asociación Americana de Estadística , 101, pp. 1566-1581.

machine-learning mcmc dirichlet-process ankit
fuente

Creo que la descripción 'discreta' se refiere al hecho de que los sorteos de un proceso de Dirichlet son discretos con probabilidad uno (se deduce de la representación de ruptura de palo del DP).

Ankit

Vas a tener que elaborar. Si rompo un palo en

k

$k$ piezas de alguna manera, las distribuciones de las longitudes de palo son continuas.

Glen_b -Reinstate Monica

@Glen_b: Su intuición coincide con la mía, pero el ankit de papel vinculado a "dice que los sorteos de un DP son discretos (con probabilidad uno)". No puedo seguir su argumento, pero respeto a los autores.

David J. Harris

@ DavidJ.Harris sí, al leerlo, parece, inconsistentemente con la forma en que la palabra 'proceso' se asocia más comúnmente con las distribuciones, se refiere a lo que yo habría llamado algo así como un 'proceso multinomial' o 'multinomial mezcla ', ya que la salida es la categoría. (Este esquema de nomenclatura sería como referirse a los tiempos entre eventos como un 'proceso de Poisson', en lugar de contar el número de eventos como es normalmente el caso, o tal vez referirse a un proceso de Bernoulli como un 'proceso beta' porque había una beta antes de la probabilidad de Bernoulli).

Glen_b -Reinstate Monica

Depende de si cree que un número "infinitamente contable" de números reales es representativo de los números reales. Hubiera pensado que es así, proporcionando así un argumento en contra de la afirmación anterior.

probabilidadislogica

Respuestas:

Con la probabilidad uno, las realizaciones de un Proceso de Dirichlet son medidas de probabilidad discretas. Una prueba rigurosa se puede encontrar en

Blackwell, D. (1973). "Discreteness of Ferguson Selections", The Annals of Statistics, 1 (2): 356–358.

La representación de ruptura del proceso Dirichlet hace que esta propiedad sea transparente.

Dibujar independiente $B_i\sim\mathrm{Beta}(1,c)$ , para $i\geq 1$ .
Definir $P_1=B_1$ y $P_i=B_i \prod_{j=1}^{i-1}(1-B_j)$ , para $i>1$ .
Dibujar independiente $Y_i\sim F$ , para $i\geq 1$ .
Sethuraman demostró que la función de distribución discreta
$sol (t, ω) = \sum_{yo = 1}^{\infty} {PAGS}_{yo} (ω) {yo}_{[Y_{yo} (ω), \infty)} (t)$ $G(t,\omega)=\sum_{i=1}^\infty P_i(\omega) I_{[Y_i(\omega),\infty)}(t)$ es la realización de un proceso de Dirichlet con parámetro de concentración $c$ y centrado en la función de distribución $F$ .

La expectativa de este proceso de Dirichlet es simplemente $F$ , y esta puede ser la función de distribución de una variable aleatoria continua. Pero, si hay variables aleatorias $X_1,\dots,X_n$ formar una muestra aleatoria de este proceso de Dirichlet, la expectativa posterior es una medida de probabilidad que pone masa positiva en cada punto de muestra.

Con respecto a la pregunta original, puede ver que el Proceso de Dirichlet simple puede no ser adecuado para modelar algunos problemas no paramétricos bayesianos, como el problema de la estimación de densidad bayesiana, pero hay extensiones adecuadas del Proceso de Dirichlet disponibles para manejar estos casos.

zen
fuente

¿Por qué es malo estimar una densidad por una distribución discreta? ¿Esto significa que la cuadratura también es mala e inapropiada?

probabilidadislogica

No dije que es "malo". Pero suponga que tiene buena información previa sobre la suavidad de la densidad aleatoria. No puede utilizar esta información previa si está modelando con el DP simple. Ese es el tipo de cosas que tengo en mente.

Zen

No estaría de acuerdo: la suavidad se puede controlar mediante la elección del parámetro de concentración y la forma de la distribución base.

probabilidadislogic

Si está modelando con el DP original, utilizando cualquier medida base, la distribución posterior nunca tiene una densidad con respecto a la medida de Lebesgue.

Zen

Está confundiendo tener una densidad con ser suave: una distribución discreta tampoco tiene una densidad, pero eso no significa que no sea suave, por ejemplo, un binomio (n, p) con n grande es básicamente tan suave como un normal pdf

probabilityislogic