Un algoritmo de optimización utilizado a menudo para la estimación de máxima verosimilitud en presencia de datos faltantes.
Estoy tratando de comprender bien el algoritmo EM, para poder implementarlo y usarlo. Pasé un día completo leyendo la teoría y un documento donde se usa EM para rastrear un avión utilizando la información de posición proveniente de un radar. Honestamente, no creo entender completamente la idea...
He estudiado algoritmos para agrupar datos (aprendizaje no supervisado): EM y k-means. Sigo leyendo lo siguiente: k-means es una variante de EM, con los supuestos de que los grupos son esféricos. ¿Alguien puede explicar la oración anterior? No entiendo qué significa esférico y cómo se...
¿Cuál es la diferencia entre los algoritmos EM (Expectation Maximization) y Gradient Ascent (or descent)? ¿Hay alguna condición bajo la cual sean
Leí en alguna parte que el método Variational Bayes es una generalización del algoritmo EM. De hecho, las partes iterativas de los algoritmos son muy similares. Para probar si el algoritmo EM es una versión especial de Variational Bayes, probé lo siguiente: YYY son datos,XXX es la colección de...
Nota: estoy publicando una pregunta de un ex alumno mío que no puede publicar por su cuenta por razones técnicas. Dada una muestra de iid de una distribución de Weibull con pdf ¿hay una representación variable faltante útil y, por lo tanto, un algoritmo EM (expectativa-maximización) asociado...
He leído un par de explicaciones del algoritmo EM (p. Ej., De Bishop's Pattern Recognition and Machine Learning y Roger and Gerolami First Course on Machine Learning). La derivación de EM está bien, lo entiendo. También entiendo por qué el algoritmo cubre algo: en cada paso mejoramos el resultado y...
Por lo poco que sé, el algoritmo EM se puede usar para encontrar la probabilidad máxima cuando se establece en cero las derivadas parciales con respecto a los parámetros de la probabilidad, da un conjunto de ecuaciones que no se pueden resolver analíticamente. Pero, ¿es necesario el algoritmo EM en...
Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de...
Esta pregunta se migró de Mathematics Stack Exchange porque se puede responder en Cross Validated. Migrado hace 6 años . En el enfoque del algoritmo EM, utilizamos la desigualdad de Jensen para llegar aIniciar sesiónp ( x | θ ) ≥ ∫Iniciar sesiónp ( z, x | θ ) p ( zEl | x,...
Quiero implementar el algoritmo EM manualmente y luego compararlo con los resultados normalmixEMdel mixtoolspaquete. Por supuesto, sería feliz si ambos conducen a los mismos resultados. La referencia principal es Geoffrey McLachlan (2000), Modelos de mezclas finitas . Tengo una densidad de mezcla...
Considere la probabilidad logarítmica de una mezcla de gaussianos: l ( Snorte; θ ) = ∑t = 1norteIniciar sesiónF( x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Snorte;θ)=∑t=1norteIniciar sesiónF(X(t)El |θ)=∑t=1norteIniciar sesión{∑yo=1kpagyoF(X(t)El |μ(yo),σyo2)}l(S_n; \theta) = \sum^n_{t=1}\log...
El procedimiento EM aparece, para los no iniciados, como más o menos magia negra. Estime los parámetros de un HMM (por ejemplo) utilizando datos supervisados. Luego, decodifique los datos sin etiquetar, usando hacia adelante y hacia atrás para 'contar' los eventos como si los datos estuvieran...
Estoy intentando aprender cómo usar los campos aleatorios de Markov para segmentar regiones en una imagen. No entiendo algunos de los parámetros en el MRF o por qué la maximización de expectativas que realizo a veces no puede converger en una solución. A partir del teorema de Bayes, tengo...
Hay mucha literatura que enfatiza el método de maximización de expectativas en los modelos de mezcla (mezcla de Gauss, modelo oculto de Markov, etc.). ¿Por qué EM es importante? EM es solo una forma de hacer optimización y no se usa ampliamente como método basado en gradiente (gradiente decente o...
Sé que k-means generalmente se optimiza usando Maximización de Expectativas . Sin embargo, podríamos optimizar su función de pérdida de la misma manera que optimizamos cualquier otra. Encontré algunos documentos que en realidad usan el descenso de gradiente estocástico para medios k a gran escala,...
¿Hay alguna alternativa rápida al algoritmo EM para aprender modelos con variables latentes (especialmente pLSA)? Estoy de acuerdo con sacrificar la precisión en favor de la
Digamos que tengo una población de 50 millones de cosas únicas, y tomo 10 millones de muestras (con reemplazo) ... El primer gráfico que adjunto muestra cuántas veces pruebo la misma "cosa", lo cual es relativamente raro. La población es mayor que mi muestra. Sin embargo, si mi población es de...
Estoy tratando de separar dos grupos de valores de un solo conjunto de datos. Puedo suponer que una de las poblaciones está normalmente distribuida y tiene al menos la mitad del tamaño de la muestra. Los valores del segundo son más bajos o más altos que los valores del primero (se desconoce la...
Tengo algunas preguntas conceptuales simples que me gustaría aclarar con respecto a MLE (Estimación de máxima verosimilitud), y qué vínculo tiene, si lo hay, con EM (Maximización de expectativas). Según tengo entendido, si alguien dice "Usamos el MLE", ¿significa eso automáticamente que tienen un...
¿Cuáles son los beneficios de dar ciertos valores iniciales a las probabilidades de transición en un modelo oculto de Markov? Finalmente, el sistema los aprenderá, entonces, ¿cuál es el punto de dar valores distintos de los aleatorios? ¿El algoritmo subyacente hace una diferencia como...