En el algoritmo Metropolis – Hastings para muestrear una distribución objetivo, dejemos que: πiπi\pi_{i} sea la densidad objetivo en el estado ,iii πjπj\pi_j sea la densidad objetivo en el estado propuesto ,jjj hijhijh_{ij} sea la densidad propuesta para la transición al estado dado el...
Tengo una probabilidad bastante plana de que el muestreador Metropolis-Hastings se mueva a través del espacio de parámetros de forma muy irregular, es decir, no se puede lograr la convergencia sin importar los parámetros de distribución de la propuesta (en mi caso, es gaussiana). No hay una gran...
Estoy tratando de muestrear desde un posterior que tiene muchos modos, particularmente lejos de los demás, usando MCMC. Parece que en la mayoría de los casos, solo uno de estos modos contiene el 95% de HP que estoy buscando. Traté de implementar soluciones basadas en simulación templada, pero esto...
Encontré este artículo donde dice que en el muestreo de Gibbs se acepta cada muestra. Estoy un poco confundido. ¿Cómo es que si cada muestra que aceptaba converge a una distribución estacionaria? En general, el algoritmo Metropolis aceptamos como min (1, p (x *) / p (x)) donde x * es el punto de...
Por lo que he leído, Hamiltonian Monte Carlo es el MCMCmétodo "goto" cuando su problema es de alta dimensión. Hablando en términos prácticos, ¿cuántas dimensiones 10's, 100's, 1,000's, 10,000's, 100,000's, ..., son demasiadas? Sin duda, el costo computacional se convertirá en un problema y supongo...
Actualmente estoy leyendo el "libro" de programación probabilística y métodos bayesianos para hackers . He leído algunos capítulos y estaba pensando en el primer Capítulo donde el primer ejemplo con pymc consiste en detectar un punto de bruja en los mensajes de texto. En ese ejemplo, la variable...
Markov Chain Monte Carlo es un método basado en cadenas de Markov que nos permite obtener muestras (en un entorno de Monte Carlo) a partir de distribuciones no estándar de las que no podemos extraer muestras directamente. Mi pregunta es por qué la cadena de Markov es "lo último en tecnología"...
Actualmente estoy aprendiendo modelos bayesianos jerárquicos usando JAGS de R, y también pymc usando Python ( "Métodos Bayesianos para Hackers" ). Puedo entender algo de esta publicación : "terminarás con una pila de números que parece" como si "hubieras logrado tomar muestras independientes de la...
Estoy tratando de entender el funcionamiento interno de Hamiltonian Monte Carlo (HMC), pero no puedo entender completamente la parte cuando reemplazamos la integración determinista del tiempo con una propuesta de Metrópolis Hasting. Estoy leyendo el impresionante documento introductorio Una...
Tengo la siguiente distribución discreta, donde son constantes conocidas:α,βα,β\alpha,\beta p ( x ; α , β) = Beta ( α + 1 , β+ x )Beta ( α , β)para x = 0 , 1 , 2 , ...pag(X;α,β)=Beta(α+1,β+X)Beta(α,β)para X=0 0,1,2,... p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1,...
Actualmente estoy estimando un modelo de volatilidad estocástica con los métodos de Markov Chain Monte Carlo. De este modo, estoy implementando los métodos de muestreo de Gibbs y Metropolis. Suponiendo que tomo la media de la distribución posterior en lugar de una muestra aleatoria, ¿es esto lo que...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 8 meses . Actualmente estoy en el proceso de...
En MCMC, ¿cómo se elige el tiempo de quemado? En otras palabras, ¿cuánto tiempo debe esperar antes de pensar que la cadena de Markov ha alcanzado su distribución límite?
¿Por qué jerárquico? : He intentado investigar este problema, y por lo que entiendo, este es un problema "jerárquico", porque estás haciendo observaciones sobre observaciones de una población, en lugar de hacer observaciones directas de esa población. Referencia:
La naturaleza discreta del DP lo hace inadecuado para aplicaciones generales en no paramétricos bayesianos, pero es muy adecuado para el problema de colocar priors en los componentes de la mezcla en el modelado de mezclas. Esta cita es de Procesos de Dirichlet jerárquicos (Teh, et al, (2006)[ 1...
En una implementación MCMC de modelos jerárquicos, con efectos aleatorios normales y un Wishart previo para su matriz de covarianza, se usa típicamente el muestreo de Gibbs. Sin embargo, si cambiamos la distribución de los efectos aleatorios (p. Ej., A Student's-t u otro), la conjugación se...
Imagine que muestreamos una matriz de covarianza de una distribución Wishart por MCMC. En cada iteración, obtenemos una nueva matriz de muestra SiSiS_i de la distribución Wishart. Pregunta : Dada la traza que contiene todas las muestrasS1,...SnS1,...SnS_1,...S_n, ¿puedo trazar la autocorrelación...
En la cadena Monte Carlo de Metropolis-Hastings Markov, la distribución de la propuesta puede ser cualquier cosa, incluida la gaussiana (según Wikipedia). P: ¿Cuál es la motivación para usar algo que no sea gaussiano? Gaussian funciona, es fácil de evaluar, es rápido y todos lo entienden. ¿Por qué...
He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, si elimino los valores de NA,...
Tengo un modelo que va: Single parameter -> Complex likelihood function -> Log-likelihood. Ejecuté una cadena MCMC (usando pymc) y tracé el rastro del parámetro y la probabilidad logarítmica. La estimación del parámetro terminó siendo razonable, pero el gráfico de probabilidad de registro me...