¿Cómo un uniforme anterior conduce a las mismas estimaciones de máxima probabilidad y modo de posterior?

Estoy estudiando diferentes métodos de estimación puntual y leí que cuando usamos estimaciones MAP vs ML, cuando usamos un "uniforme previo", las estimaciones son idénticas. ¿Alguien puede explicar qué es un "uniforme" anterior y dar algunos ejemplos (simples) de cuándo los estimadores MAP y ML serían los mismos?

machine-learning probability bayesian estimation maximum-likelihood usuario1516425
fuente

@AndreSilva MAP = Máximo a posteriori - el modo de la posterior

Glen_b -Reinstalar a Monica

Echa un vistazo aquí: math.stackexchange.com/questions/1327752/…

Royi

Respuestas:

Es una distribución uniforme (continua o discreta).

Ver también

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Si usa un uniforme anterior en un conjunto que contiene el MLE, entonces MAP = MLE siempre. La razón de esto es que bajo esta estructura previa, la distribución posterior y la probabilidad son proporcionales.

MAPMLE
fuente

Esta es una buena respuesta en mi opinión. Puede valer la pena agregar que la razón por la que la distribución posterior y la probabilidad son proporcionales es que la distribución posterior es proporcional al producto de la probabilidad y la anterior. Cuando lo anterior toma el mismo valor en todas partes, como en la distribución uniforme, entonces la distribución posterior es simplemente proporcional a la probabilidad.

TooTone

@TooTone También agregaría un punto sobre la incorrección.

Stéphane Laurent

El uniforme anterior se puede ver como un conjunto de usuarios o una probabilidad igual para cada clase que intente predecir. Por ejemplo, si tenemos un problema de dos clases y la distribución para ejemplos positivos es del 10% (es decir, una probabilidad previa de 0.1), podemos establecer el previo uniforme para los casos positivos en 0.5 para superar el efecto de desequilibrio del original distribución.

soufanom

En resumen, bajo uniforme anterior, el MAP y ML colisionan solo si el uniforme anterior está por encima de los valores válidos del parámetro. Es decir, si el parámetro es continuo y el previo es uniforme solo en [0, 1], no se mantendrá.

Royi

@Drazick: buen comentario. En realidad es "peor" que eso, a saber, el (valor del) MAPA depende de la elección de la medida dominante, como se explica en este documento de Druihlet y Marin .

Xi'an

$P(D|\theta)P(\theta)$ $P(\theta)$

gg1782191
fuente

(-1) La estimación de máxima verosimilitud (de un parámetro) es una estimación de un parámetro, no 'la estimación de ocurrencia de un evento dado'. El resto de la respuesta también es algo confusa / confusa, por ejemplo, no está claro a qué se refieren el "promedio y la varianza".

Juho Kokkala

@Tim, ¿puede proporcionar una prueba (o esquema) que se muestre The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Gracias

curious_dan

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$

p (θ) \propto 1

$p(\theta) \propto 1$

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$

gracias, @Tim --- I puede ver por qué esto es cierto para el valor máximo / esperada, pero no está claro para mí la varianza será el mismo

curious_dan

@curious_dan varianza de qué? Esto se aplica a cualquier parámetro que calcule.

Tim