Para una variable aleatoria continua arbitraria, digamos , ¿es su entropía diferencial siempre menor que ∞ ? (Está bien si se trata de - ∞ ). Si no es así, ¿cuál es la condición necesaria y suficiente para que sea menos de ∞
La entropía diferencial de la RV gaussiana es . Esto depende de , que es la desviación estándar.σIniciar sesión2( σ2 πmi---√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si normalizamos la variable aleatoria para que tenga una varianza unitaria, su entropía diferencial cae. Para mí, esto es...
¿Hay algún uso para la cantidad ∫f(x)2dx∫f(x)2dx \int f(x)^2 dx en estadística o teoría de la
Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía. ¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento,
He estado trabajando en el muestreo de importancia bastante de cerca durante el año pasado y tengo algunas preguntas abiertas con las que esperaba obtener ayuda. Mi experiencia práctica con esquemas de muestreo de importancia ha sido que ocasionalmente pueden producir fantásticas estimaciones de...
En cuanto al título, la idea es utilizar información mutua, aquí y después de MI, para estimar la "correlación" (definida como "cuánto sé sobre A cuando sé B") entre una variable continua y una variable categórica. Le diré mis pensamientos sobre el asunto en un momento, pero antes de aconsejarle...
Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las...
Me gustaría calcular la divergencia jensen-shannon para él después de 3 distribuciones. ¿Es correcto el siguiente cálculo? (Seguí la fórmula JSD de wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6,...
( Publiqué una pregunta similar en math.se. ) En geometría de la información, el determinante de la matriz de información de Fisher es una forma de volumen natural en una variedad estadística, por lo que tiene una buena interpretación geométrica. El hecho de que aparezca en la definición de...
De Wikipedia hay una definición del Criterio de información de Akaike (AIC) como , donde k es el número de parámetros y log L es la probabilidad de registro del modelo.Un yoC= 2 k - 2 logLAIC=2k−2logL AIC = 2k -2 \log L kkkIniciar sesiónLlogL\log L Sin embargo, nuestros notas Econometría en un...
La forma más simple de la información teórica CLT es la siguiente: Sea X1, X2, ...X1,X2,…X_1, X_2,\dots iid con media 0 000 y varianza 111 . Sea Fnortefnf_n la densidad de la suma normalizada ∑nortei = 1Xyonorte√∑i=1nXin\frac{\sum_{i=1}^n X_i}{\sqrt{n}}ϕϕ\phin D ( f n ‖ ϕ ) → 0 n → ∞D ( fnorte∥ ϕ...
Tengo una duda muy básica. Lo siento si esto irrita a algunos. Sé que el valor de la información mutua debe ser mayor que 0, pero ¿debe ser menor que 1? ¿Está limitado por algún valor superior? Gracias
¿Podría la información mutua sobre la entropía conjunta: 0 ≤ I( X, Y)H( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 se define como: "¿La probabilidad de transmitir una información de X a Y"? Lamento ser tan ingenuo, pero nunca he estudiado teoría de la información, y estoy...
He escrito un programa para simular un volado de reproducción aleatoria tarjeta. Cada carta está numerada, con el palo que va CLUBS, DIAMONDS, HEARTS, SPADESy el rango de Dos a Diez y luego Jack, Reina, Rey y As. Por lo tanto, el Two of Clubs tiene un Número de 1, el Three of Clubs un 2 ... As of...
¿Cuál es una buena métrica para evaluar la calidad del análisis de componentes principales (PCA)? Realicé este algoritmo en un conjunto de datos. Mi objetivo era reducir la cantidad de funciones (la información era muy redundante). Sé que el porcentaje de variación mantenido es un buen indicador...
En mi investigación me he encontrado con el siguiente problema general: tengo dos distribuciones PPP y QQQ sobre el mismo dominio, y una gran cantidad (pero finita) de muestras de esas distribuciones. Las muestras se distribuyen de forma independiente e idéntica a partir de una de estas dos...
Quiero cuantificar la relación entre dos variables, A y B, utilizando información mutua. La forma de calcularlo es agrupando las observaciones (ver ejemplo de código Python a continuación). Sin embargo, ¿qué factores determinan qué número de contenedores es razonable? Necesito que el cálculo sea...
Estoy tratando de aplicar la idea de información mutua a la selección de funciones, como se describe en estas notas de clase (en la página 5). Mi plataforma es Matlab. Un problema que encuentro al calcular información mutua a partir de datos empíricos es que el número siempre está sesgado hacia...
¿O qué condiciones lo garantizan? En general (y no solo modelos normales y binomiales) supongo que la razón principal que rompió esta afirmación es que hay inconsistencia entre el modelo de muestreo y el anterior, pero ¿qué más? Estoy empezando con este tema, así que realmente aprecio ejemplos...
Como dice el título, ¿la reducción de dimensiones siempre pierde algo de información? Considere, por ejemplo, PCA. Si los datos que tengo son muy escasos, supongo que se podría encontrar una "mejor codificación" (¿está relacionado de alguna manera con el rango de los datos?), Y no se perdería...