Supongamos que tengo dos conjuntos e y una distribución de probabilidad conjunta sobre estos conjuntos . Supongamos que y denotan las distribuciones marginales sobre e respectivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY La información mutua entre e se define
Sin citar fuentes, Wikipedia define la entropía cruzada de distribuciones discretas y comoPAGPAGPQQQ H×( P; Q )= - ∑Xp ( x )Iniciar sesiónq( X ) .H×(PAG;Q)=-∑Xpag(X)Iniciar sesiónq(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} ¿Quién fue el primero en...
Recientemente leí este artículo sobre la entropía de una distribución de probabilidad discreta. Describe una buena manera de pensar en la entropía como los bits de número esperados (al menos cuando se usa en su definición de entropía) necesarios para codificar un mensaje cuando su codificación es...
Estoy agrupando distribuciones de probabilidad usando el algoritmo de Propagación de afinidad , y planeo usar la Divergencia de Jensen-Shannon como mi métrica de distancia. ¿Es correcto usar JSD en sí mismo como la distancia, o JSD al cuadrado? ¿Por qué? ¿Qué diferencias resultarían de elegir uno...
Me gustaría saber si el bosque aleatorio de Breiman (bosque aleatorio en el paquete R randomForest) usa como criterio de división (criterio para la selección de atributos) la ganancia de información o el índice de Gini. Traté de encontrarlo en
Esta pregunta da una definición cuantitativa de entropía cruzada, en términos de su fórmula. Estoy buscando una definición más teórica, wikipedia dice: En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número promedio de bits necesarios para...
Las pruebas de permutación (también llamadas prueba de aleatorización, prueba de aleatorización o prueba exacta) son muy útiles y resultan útiles cuando t-testno se cumple el supuesto de distribución normal requerido por ejemplo y cuando se transforman los valores mediante la clasificación de...
La entropía de una distribución continua con función de densidad Fff se define como la negativa de la expectativa de Iniciar sesión( f) ,log(f),\log(f), y por lo tanto es igual a HF= - ∫∞- ∞Iniciar sesión( f( x ) ) f( x ) d x .Hf=−∫−∞∞log(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x))...
Para una variable aleatoria continua arbitraria, digamos , ¿es su entropía diferencial siempre menor que ∞ ? (Está bien si se trata de - ∞ ). Si no es así, ¿cuál es la condición necesaria y suficiente para que sea menos de ∞
Pensé que el concepto de conjunto típico era bastante intuitivo: una secuencia de longitud pertenecería al conjunto típico si la probabilidad de que la secuencia saliera fuera alta. Entonces, cualquier secuencia que probablemente esté en . (Estoy evitando la definición formal relacionada con la...
Al observar los vectores propios de la matriz de covarianza, obtenemos las direcciones de varianza máxima (el primer vector propio es la dirección en la que los datos varían más, etc.); Esto se llama análisis de componentes principales (PCA). Me preguntaba qué significaría mirar los vectores /...
¿Hay algún uso para la cantidad ∫f(x)2dx∫f(x)2dx \int f(x)^2 dx en estadística o teoría de la
¿Cuál es la distribución máxima de entropía para una variable continua positiva, dados sus primeros y segundos momentos? Por ejemplo, una distribución gaussiana es la distribución de entropía máxima para una variable ilimitada, dada su media y desviación estándar, y una distribución Gamma es la...
Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía. ¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento,
La entropía diferencial de la RV gaussiana es . Esto depende de , que es la desviación estándar.σIniciar sesión2( σ2 πmi---√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si normalizamos la variable aleatoria para que tenga una varianza unitaria, su entropía diferencial cae. Para mí, esto es...
¿Tiene sentido el costo de la entropía cruzada en el contexto de la regresión (en oposición a la clasificación)? Si es así, ¿podría dar un ejemplo de juguete a través de TensorFlow? ¿Si no, porque no? Estaba leyendo acerca de la entropía cruzada en Redes Neurales y Aprendizaje Profundo por Michael...
Por lo tanto, esta pregunta es algo complicada, pero he tratado minuciosamente de hacerlo lo más sencillo posible. Objetivo: Para resumir, hay una derivación de la negentropía que no involucra acumulantes de orden superior, y estoy tratando de entender cómo se derivó. Antecedentes: (entiendo...
Comencé a aprender sobre redes neuronales con el tutorial de redes neuronales y aprendizaje de punto com. En particular, en el tercer capítulo hay una sección sobre la función de entropía cruzada, y define la pérdida de entropía cruzada
Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <-...
Sea una distribución conjunta de dos variables categóricas X , Y , con x , y ∈ { 1 , ... , K } . Digamos que se tomaron n muestras de esta distribución, pero solo se nos dan los recuentos marginales, es decir, para j = 1 , ... , K :px , ypagX,yp_{x,y}X, YX,YX,YX,y∈ { 1 ,