Una cantidad matemática diseñada para medir la cantidad de aleatoriedad de una variable aleatoria.
La entropía de Shannon es el negativo de la suma de las probabilidades de cada resultado multiplicado por el logaritmo de probabilidades para cada resultado. ¿Para qué sirve el logaritmo en esta ecuación? ¡Una respuesta intuitiva o visual (a diferencia de una respuesta profundamente matemática)...
Estoy entrenando una red neuronal para clasificar un conjunto de objetos en n-clases. Cada objeto puede pertenecer a múltiples clases al mismo tiempo (multi-clase, multi-etiqueta). Leí que para problemas de varias clases generalmente se recomienda usar softmax y entropía cruzada categórica como la...
Quiero medir la entropía / densidad de información / similitud de patrón de una matriz binaria bidimensional. Déjame mostrarte algunas fotos para aclarar: Esta pantalla debería tener una entropía bastante alta: UNA) Esto debería tener una entropía media: SI) Estas imágenes, finalmente,...
En mi opinión, la divergencia KL de la distribución de la muestra a la distribución verdadera es simplemente la diferencia entre entropía cruzada y entropía. ¿Por qué utilizamos la entropía cruzada para ser la función de costo en muchos modelos de aprendizaje automático, pero utilizamos la...
En primer lugar, me di cuenta de que si necesito realizar predicciones binarias, tengo que crear al menos dos clases a través de una codificación en caliente. ¿Es esto correcto? Sin embargo, ¿es la entropía cruzada binaria solo para predicciones con una sola clase? Si tuviera que usar una pérdida...
He visto algunas preguntas aquí sobre lo que significa en términos simples, pero estas son demasiado simples para mi propósito aquí. Estoy tratando de entender matemáticamente qué significa el puntaje AIC. Pero al mismo tiempo, no quiero una prueba de rigor que me haga no ver los puntos más...
Sé que la entropía es la medida de aleatoriedad de un proceso / variable y se puede definir de la siguiente manera. para una variable aleatoria conjunto : - . En el libro sobre entropía y teoría de la información de MacKay, él proporciona esta declaración en Ch2X∈X∈X
Estoy leyendo sobre entropía y me cuesta mucho conceptualizar lo que significa en el caso continuo. La página wiki dice lo siguiente: La distribución de probabilidad de los eventos, junto con la cantidad de información de cada evento, forma una variable aleatoria cuyo valor esperado es la...
En este artículo , la talentosa investigadora Cosma Shalizi argumenta que para aceptar completamente una visión bayesiana subjetiva, uno también debe aceptar un resultado no físico de que la flecha del tiempo (dada por el flujo de entropía) debería ir hacia atrás . Esto es principalmente un intento...
En 5.5, Deep Learning (por Ian Goodfellow, Yoshua Bengio y Aaron Courville), afirma que Cualquier pérdida que consiste en una probabilidad logarítmica negativa es una entropía cruzada entre la distribución empírica definida por el conjunto de entrenamiento y la distribución de probabilidad...
Al entrenar una red neuronal de segmentación de píxeles, como redes completamente convolucionales, ¿cómo toma la decisión de utilizar la función de pérdida de entropía cruzada versus la función de pérdida de coeficiente de dados? Me doy cuenta de que esta es una pregunta corta, pero no estoy muy...
Tanto la entropía cruzada como la divergencia KL son herramientas para medir la distancia entre dos distribuciones de probabilidad. ¿Cuál es la diferencia? Además, la minimización de KL es equivalente a la minimización de la entropía cruzada.H( P, Q ) = -∑XPAGS( x ) registroQ ( x...
He utilizado el principio de máxima entropía para justificar el uso de varias distribuciones en diversos entornos; sin embargo, todavía tengo que poder formular una interpretación estadística, en oposición a la teoría de la información, de la entropía máxima. En otras palabras, ¿qué implica...
Después de mucho arrastre de Cross Validated, todavía no siento que estoy más cerca de entender la divergencia de KL fuera del ámbito de la teoría de la información. Es bastante extraño que alguien con experiencia en matemáticas encuentre mucho más fácil entender la explicación de la teoría de la...
Estoy experimentando un poco de autoencoders, y con tensorflow creé un modelo que intenta reconstruir el conjunto de datos MNIST. Mi red es muy simple: X, e1, e2, d1, Y, donde e1 y e2 son capas de codificación, d2 e Y son capas de decodificación (e Y es la salida reconstruida). X tiene 784...
¿Cuál es la forma correcta más teórica de información / física para calcular la entropía de una imagen? En este momento no me importa la eficiencia computacional; teóricamente, quiero que sea lo más correcta posible. Comencemos con una imagen en escala de grises. Un enfoque intuitivo es considerar...
De ninguna manera soy estadístico (he tenido un curso de estadística matemática pero nada más que eso), y recientemente, mientras estudiaba teoría de la información y mecánica estadística, conocí esta cosa llamada "medida de incertidumbre" / "entropía". Leí la derivación de Khinchin como una medida...
He estado usando distribuciones normales de registro como distribuciones anteriores para parámetros de escala (para distribuciones normales, distribuciones t, etc.) cuando tengo una idea aproximada sobre cuál debería ser la escala, pero quiero equivocarme al decir que no sé mucho al respecto. Lo...
En la definición de conjuntos típicos conjuntos (en "Elementos de la teoría de la información", cap. 7.6, p. 195), utilizamos como laentropía empíricade unasecuencianconp(xn)=∏ n i = 1 p(xi). Nunca me encontré con esta terminología antes. No se define explícitamente en ninguna parte según el...
Supongamos que tengo dos conjuntos e y una distribución de probabilidad conjunta sobre estos conjuntos . Supongamos que y denotan las distribuciones marginales sobre e respectivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY La información mutua entre e se define