la entropía máxima o maxent es un principio estadístico derivado de la teoría de la información. Se piensa que las distribuciones que maximizan la entropía (bajo algunas restricciones) son "máximamente desinformativas" dadas las restricciones. La entropía máxima se puede utilizar para múltiples propósitos, como la elección del anterior, la elección del modelo de muestreo o el diseño de experimentos.
Sé que la entropía es la medida de aleatoriedad de un proceso / variable y se puede definir de la siguiente manera. para una variable aleatoria conjunto : - . En el libro sobre entropía y teoría de la información de MacKay, él proporciona esta declaración en Ch2X∈X∈X
En este artículo , la talentosa investigadora Cosma Shalizi argumenta que para aceptar completamente una visión bayesiana subjetiva, uno también debe aceptar un resultado no físico de que la flecha del tiempo (dada por el flujo de entropía) debería ir hacia atrás . Esto es principalmente un intento...
He utilizado el principio de máxima entropía para justificar el uso de varias distribuciones en diversos entornos; sin embargo, todavía tengo que poder formular una interpretación estadística, en oposición a la teoría de la información, de la entropía máxima. En otras palabras, ¿qué implica...
He estado usando distribuciones normales de registro como distribuciones anteriores para parámetros de escala (para distribuciones normales, distribuciones t, etc.) cuando tengo una idea aproximada sobre cuál debería ser la escala, pero quiero equivocarme al decir que no sé mucho al respecto. Lo...
Para una variable aleatoria continua arbitraria, digamos , ¿es su entropía diferencial siempre menor que ∞ ? (Está bien si se trata de - ∞ ). Si no es así, ¿cuál es la condición necesaria y suficiente para que sea menos de ∞
¿Cuál es la distribución máxima de entropía para una variable continua positiva, dados sus primeros y segundos momentos? Por ejemplo, una distribución gaussiana es la distribución de entropía máxima para una variable ilimitada, dada su media y desviación estándar, y una distribución Gamma es la...
Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía. ¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento,
Sea una distribución conjunta de dos variables categóricas X , Y , con x , y ∈ { 1 , ... , K } . Digamos que se tomaron n muestras de esta distribución, pero solo se nos dan los recuentos marginales, es decir, para j = 1 , ... , K :px , ypagX,yp_{x,y}X, YX,YX,YX,y∈ { 1 ,
La pregunta: Bootstrapping es superior a jackknifing; Sin embargo, me pregunto si hay casos en los que la navaja es la única o al menos una opción viable para caracterizar la incertidumbre a partir de las estimaciones de los parámetros. Además, en situaciones prácticas, ¿qué tan sesgado / inexacto...
Estaba leyendo la discusión en Hacker News sobre el uso de la desviación estándar en lugar de otras métricas, como la desviación media absoluta. Entonces, si siguiéramos el principio de máxima entropía, ¿con qué tipo de distribución usaríamos si solo supiéramos la media de la distribución y la...
Uno de los problemas importantes que enfrentan los pronosticadores es si las series dadas se pueden pronosticar o no. Me topé con un artículo titulado "La entropía como un indicador prioritario de previsibilidad " de Peter Catt que utiliza la entropía aproximada (ApEn) como una medida relativa...
Generalmente hay muchas distribuciones conjuntas consistentes con un conjunto conocido de distribuciones marginales .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) De estas distribuciones conjuntas, ¿el...
Me intriga el concepto de un Modelo de Markov de máxima entropía (MEMM), y estoy pensando en usarlo para un etiquetador de Parte de discurso (POS). Por el momento, estoy usando un clasificador convencional de máxima entropía (ME) para etiquetar cada palabra individual. Esto utiliza una serie de...
Pregunta corta: ¿Por qué es esto cierto? Larga pregunta: Muy simple, estoy tratando de descubrir qué justifica esta primera ecuación. El autor del libro que estoy leyendo (contexto aquí si lo desea, pero no es necesario), afirma lo siguiente: Debido a la suposición de casi gaussianismo,...
Suponga que la cantidad que queremos inferir es una distribución de probabilidad. Todo lo que sabemos es que la distribución proviene de un conjunto determinado, por ejemplo, por algunos de sus momentos y tenemos una previa .mimiEQQQ El principio de entropía máxima (MEP) dice que que tiene la...
Recientemente tuve una discusión rápida con un amigo experto que mencionó que las SVM son el límite de temperatura cero de la regresión logística. La justificación involucraba politopos marginales y dualidad fenchel. No pude seguir. ¿Es cierta esta afirmación sobre que las SVM son el límite de...