Con un previo plano, coinciden los estimadores ML (frecuentista - máxima verosimilitud) y MAP (Bayesiano - máximo a posteriori). Sin embargo, en términos más generales, estoy hablando de estimadores puntuales derivados como optimizadores de alguna función de pérdida. Es decir (Bayesiano) x...
¿Qué enfoques teóricos de la causalidad debería conocer como estadístico / econométrico aplicado? Conozco el (un poquito) Modelo causal de Neyman-Rubin (y Roy , Haavelmo , etc.) El trabajo de Pearl sobre la causalidad Causalidad de Granger (aunque menos orientada al tratamiento) ¿Qué conceptos...
¿Hay algún buen libro que explique conceptos importantes de la teoría de la probabilidad, como las funciones de distribución de probabilidad y las funciones de distribución acumulativa? Por favor, evite referirse a libros como "Estadística matemática y análisis de datos" de John Rice que...
He encontrado algunas formas básicas para medir la complejidad de las redes neuronales: Ingenuo e informal: cuente la cantidad de neuronas, neuronas ocultas, capas o capas ocultas Dimensión VC (Eduardo D. Sontag [1998] "Dimensión VC de redes neuronales" [ pdf ].) Un curso medido de complejidad...
Esta pregunta se inspiró en dos interacciones recientes que tuve, una aquí en CV y la otra en economics.se. Allí, había publicado una respuesta a la conocida "Paradoja de la envoltura" (fíjate, no como la "respuesta correcta" sino como la respuesta que surge de suposiciones específicas sobre la...
Recientemente leí este artículo sobre la entropía de una distribución de probabilidad discreta. Describe una buena manera de pensar en la entropía como los bits de número esperados (al menos cuando se usa en su definición de entropía) necesarios para codificar un mensaje cuando su codificación es...
Las pruebas de permutación (también llamadas prueba de aleatorización, prueba de aleatorización o prueba exacta) son muy útiles y resultan útiles cuando t-testno se cumple el supuesto de distribución normal requerido por ejemplo y cuando se transforman los valores mediante la clasificación de...
Esta pregunta da una definición cuantitativa de entropía cruzada, en términos de su fórmula. Estoy buscando una definición más teórica, wikipedia dice: En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número promedio de bits necesarios para...
He intentado calcular el AIC de una regresión lineal en R pero sin usar la AICfunción, así: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Sin embargo, AICle da un valor
Considere la solución de Jaynes a la paradoja de Bertrand utilizando el principio de indiferencia . ¿Por qué no se aplica un argumento similar a la paradoja de Borel-Kolmogorov ? ¿Hay algo de malo en argumentar que, dado que el problema no especifica una orientación para la esfera, la rotación de...
Sin citar fuentes, Wikipedia define la entropía cruzada de distribuciones discretas y comoPAGPAGPQQQ H×( P; Q )= - ∑Xp ( x )Iniciar sesiónq( X ) .H×(PAG;Q)=-∑Xpag(X)Iniciar sesiónq(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} ¿Quién fue el primero en...
Pensé que el concepto de conjunto típico era bastante intuitivo: una secuencia de longitud pertenecería al conjunto típico si la probabilidad de que la secuencia saliera fuera alta. Entonces, cualquier secuencia que probablemente esté en . (Estoy evitando la definición formal relacionada con la...
Para una variable aleatoria continua arbitraria, digamos , ¿es su entropía diferencial siempre menor que ∞ ? (Está bien si se trata de - ∞ ). Si no es así, ¿cuál es la condición necesaria y suficiente para que sea menos de ∞
Los modelos de mezcla gaussiana (GMM) son atractivos porque son fáciles de trabajar tanto en el análisis como en la práctica, y son capaces de modelar algunas distribuciones exóticas sin demasiada complejidad. Hay algunas propiedades analíticas que deberíamos tener que no están claras en general....
Imagine la siguiente configuración: tiene 2 monedas, la moneda A que se garantiza que es justa y la moneda B que puede ser justa o no. Se le pide que haga 100 lanzamientos de monedas, y su objetivo es maximizar el número de caras . Su información previa sobre la moneda B es que fue lanzada 3 veces...
Contexto : Quiero trazar una línea en un diagrama de dispersión que no aparece paramétrico, por lo tanto, estoy usando geom_smooth()en ggploten R. Devuelve automáticamente. geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method...
En cuanto al título, la idea es utilizar información mutua, aquí y después de MI, para estimar la "correlación" (definida como "cuánto sé sobre A cuando sé B") entre una variable continua y una variable categórica. Le diré mis pensamientos sobre el asunto en un momento, pero antes de aconsejarle...
La entropía diferencial de la RV gaussiana es . Esto depende de , que es la desviación estándar.σIniciar sesión2( σ2 πmi---√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si normalizamos la variable aleatoria para que tenga una varianza unitaria, su entropía diferencial cae. Para mí, esto es...
Estoy tratando de entender la siguiente prueba de que el gaussiano tiene la máxima entropía. ¿Cómo tiene sentido el paso protagonizado? Una covarianza específica solo corrige el segundo momento. ¿Qué pasa con el tercer, cuarto, quinto momento,
He estado trabajando en el muestreo de importancia bastante de cerca durante el año pasado y tengo algunas preguntas abiertas con las que esperaba obtener ayuda. Mi experiencia práctica con esquemas de muestreo de importancia ha sido que ocasionalmente pueden producir fantásticas estimaciones de...