Una buena muestra de Gibbs, tutoriales y referencias

29

Quiero aprender cómo funciona Gibbs Sampling y estoy buscando un buen papel básico a intermedio. Tengo experiencia en informática y conocimientos básicos de estadística.

¿Alguien ha leído buen material? donde lo aprendiste?

Gracias

references gibbs fabrizioM
fuente
2
buscar en Google "muestreo de Gibbs" no es una mala manera de obtener una variedad de puntos de vista sobre el tema. Creo que es una buena manera de comenzar, porque tiendes a abordarlo con una "mente escéptica": no puedes dar por sentado la palabra google, así que debes encontrar una variedad de puntos de vista. Por supuesto, es posible que necesite una fuente confiable en una etapa posterior cuando intente implementar. Pero comenzar con la "fuente confiable" no siempre es la mejor idea, porque pueden estar muy apegados a una forma particular de hacer algo, es decir, saben la "forma correcta" y "todos los demás están equivocados o son ineficaces".
probabilidadislogica
3
(+1) Generalmente, las preguntas que Google puede responder fácilmente no son bienvenidas, pero esta OMI intenta capitalizar la sabiduría colectiva de una comunidad de una manera que el ranking de Google no puede hacer. Sería interesante ver qué fuentes las personas realmente encontraron útiles para aprender este material.
whuber
44
Ese es el problema. Google devuelve demasiados resultados y no todos los documentos o tutoriales son lo suficientemente claros.
fabrizioM

Respuestas:

19

Yo comenzaría con:

Casella, George; George, Edward I. (1992). " Explicando la muestra de Gibbs ". El estadístico estadounidense 46 (3): 167-174. ( PDF GRATUITO )

Resumen : Los algoritmos intensivos en computadora, como el muestreador Gibbs, se han convertido en herramientas estadísticas cada vez más populares, tanto en el trabajo aplicado como en el teórico. Sin embargo, las propiedades de tales algoritmos a veces pueden no ser obvias. Aquí damos una explicación simple de cómo y por qué funciona la muestra de Gibbs. Establecemos analíticamente sus propiedades en un caso simple y brindamos información para casos más complicados. También hay una serie de ejemplos.

El estadístico estadounidense es a menudo una buena fuente de artículos introductorios cortos (ish) que no asumen ningún conocimiento previo del tema, aunque sí asumen que tiene los antecedentes en probabilidad y estadísticas que razonablemente se pueden esperar de un miembro del estadounidense. Statistical Association .

una parada
fuente
12

Un artículo en línea que realmente me ayudó a comprender Gibbs Sampling es la estimación de parámetros para el análisis de texto de Gregor Heinrich. No es un tutorial general de muestreo de Gibbs, pero lo discute en términos de asignación de dirichlet latente, un modelo bayesiano bastante popular para el modelado de documentos. Entra en las matemáticas con bastante detalle.

Uno que entra en detalles matemáticos aún más exhaustivos es el muestreo de Gibbs para los no iniciados . Y quiero decir exhaustivo, ya que supone que conoces algunos cálculos multivariados y luego expone cada paso a partir de ese punto. Entonces, aunque hay muchas matemáticas, ninguna de ellas es avanzada.

Supongo que estos serán más útiles para usted que algo que obtenga resultados más avanzados, como los que demuestran por qué el muestreo de Gibbs converge a la distribución correcta. Las referencias que señalo no prueban esto.

JasonMond
fuente
2

El libro Monte Carlo Strategies in Scientific Computing es un excelente recurso. Aborda las cosas de una manera matemáticamente rigurosa, pero puede omitir fácilmente las secciones matemáticas que no le interesan y aún así obtener toneladas de consejos prácticos. En particular, hace un buen trabajo al vincular el muestreo de Metropolis-Hastings y Gibbs, lo cual es crucial. En la mayoría de las aplicaciones, deberá dibujar a partir de una distribución posterior utilizando el muestreo de Gibbs, por lo que es útil saber cómo encaja en la lógica de Metropolis en general.

ely
fuente