Estoy tratando de aplicar la idea de información mutua a la selección de funciones, como se describe en estas notas de clase (en la página 5). Mi plataforma es Matlab. Un problema que encuentro al calcular información mutua a partir de datos empíricos es que el número siempre está sesgado hacia...
En este https://cs231n.github.io/neural-networks-case-study/ ¿por qué menciona que "el clasificador Softmax interpreta que cada elemento de ff contiene las probabilidades de registro (no normalizadas) de las tres clases". Entiendo por qué no está normalizado, pero no por qué es un registro. ¿Qué...
En el artículo titulado Deep Learning and the Information Bottleneck Principle, los autores declaran en la sección II A) lo siguiente: Las neuronas individuales clasifican solo entradas separables linealmente, ya que pueden implementar solo hiperplanos en su espacio de entrada . Los hiperplanes...
Tengo problemas para desarrollar cierta intuición sobre la entropía conjunta. = incertidumbre en la distribución conjunta p ( x , y ) ; H ( X ) = incertidumbre en p x ( x ) ; H ( Y ) = incertidumbre en p y ( y ) .H( X, Y)H(X,Y)H(X,Y)p ( x , y)p(x,y)p(x,y)H( X)H(X)H(X)pagX( x )pagX(X)p_x(x)H(...
Mi pregunta se refiere a la relación entre la hipótesis de codificación eficiente que se describe en la página de Wikipedia sobre codificación eficiente y algoritmos de aprendizaje de redes neuronales. ¿Cuál es la relación entre la hipótesis de codificación eficiente y las redes neuronales? ¿Hay...
Hoy me encontré con el libro "Teoría de la información: una introducción tutorial" de James Stone y pensé por un momento o dos sobre el alcance del uso de la teoría de la información en la ciencia de datos aplicada (si no se siente cómodo con este término todavía algo confuso, pensar en el análisis...
Estoy tratando de entender la forma normalizada de información mutua puntual. n p m i = p m i ( x , y)l o g( p ( x , y) )npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} ¿Por qué la probabilidad conjunta logarítmica normaliza la información mutua puntual entre [-1, 1]? La información...
Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las frecuencias observadas de mis cuatro eventos (18) puedo calcular las...
En la entrada de Wikipedia para el criterio de información de Akaike , leemos en Comparación con BIC (criterio de información bayesiano) que ... AIC / AICc tiene ventajas teóricas sobre BIC ... AIC / AICc se deriva de principios de información; BIC no es ... BIC tiene un previo de 1 / R (donde R...
Dadas dos distribuciones normales bivariadas y , estoy tratando de calcular la divergencia Jensen-Shannon entre ellos, definido (para el caso discreto) como: donde KLD es la divergencia Kullback-Leibler , y M = \ frac {1} {2} (P + Q) He encontrado la manera de calcular KLD en términos de los...