Después de mucho arrastre de Cross Validated, todavía no siento que estoy más cerca de entender la divergencia de KL fuera del ámbito de la teoría de la información. Es bastante extraño que alguien con experiencia en matemáticas encuentre mucho más fácil entender la explicación de la teoría de la...
Veo que ambas funciones son parte de los métodos de minería de datos, como los regresores de aumento de gradiente . Veo que esos son objetos separados también. ¿Cómo es la relación entre ambos en
La mayoría de los recursos sobre reglas de puntuación adecuadas mencionan una serie de reglas de puntuación diferentes como pérdida de registro, puntuación de Brier o puntuación esférica. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia...
No estoy seguro de que el sujeto entre en el interés CrossValidated. Me lo dirás Tengo que estudiar un gráfico (de la teoría de gráficos ), es decir. Tengo una cierta cantidad de puntos que están conectados. Tengo una tabla con todos los puntos y los puntos de los que depende cada uno. (También...
Tengo problemas para entender el concepto de una variable aleatoria como función. Entiendo la mecánica (creo) pero no entiendo la motivación ... Digamos que es un triple de probabilidad, donde , es el álgebra de Borel- en ese intervalo y es la medida regular de Lebesgue. Sea una variable aleatoria...
Estoy estudiando árboles de clasificación y regresión, y una de las medidas para la ubicación dividida es el puntaje GINI. Ahora estoy acostumbrado a determinar la mejor ubicación dividida cuando el registro de la razón de probabilidad de los mismos datos entre dos distribuciones es cero, lo que...
¿Qué significa decir que "la varianza es un estimador sesgado"? ¿Qué significa convertir una estimación sesgada en una estimación imparcial a través de una fórmula simple? ¿Qué hace exactamente esta conversión? Además, ¿cuál es el uso práctico de esta conversión? ¿Convierte estos puntajes cuando...
Específicamente, estoy buscando referencias (documentos, libros) que muestren y expliquen rigurosamente la maldición de la dimensionalidad. Esta pregunta surgió después de que comencé a leer este libro blanco de Lafferty y Wasserman. En el tercer párrafo mencionan una ecuación "bien conocida" que...
Estoy interesado en aprender más sobre las técnicas no paramétricas bayesianas (y relacionadas). Mi formación es en informática y, aunque nunca he tomado un curso sobre teoría de la medida o teoría de la probabilidad, he recibido una cantidad limitada de capacitación formal en probabilidad y...
Más recientemente, leí dos artículos. El primero trata sobre el historial de la correlación y el segundo trata sobre el nuevo método llamado Coeficiente de información máximo (MIC). Necesito su ayuda para comprender el método MIC para estimar correlaciones no lineales entre variables. Además, las...
Me preguntaba si alguien sabe o si existe una aplicación en estadística en la que se requiere una fuerte consistencia de un estimador en lugar de una consistencia débil. Es decir, una fuerte consistencia es esencial para la aplicación y la aplicación no funcionaría con una consistencia...
(Para ver por qué escribí esto, revise los comentarios debajo de mi respuesta a esta pregunta ). Errores tipo III y teoría de decisión estadística Dar la respuesta correcta a la pregunta incorrecta a veces se denomina error de Tipo III. La teoría de la decisión estadística es una formalización de...
La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy...
En la definición de conjuntos típicos conjuntos (en "Elementos de la teoría de la información", cap. 7.6, p. 195), utilizamos como laentropía empíricade unasecuencianconp(xn)=∏ n i = 1 p(xi). Nunca me encontré con esta terminología antes. No se define explícitamente en ninguna parte según el...
Si arreglo los valores de los nodos observados de un MRF, ¿se convierte en un
Sobre todo una pregunta teórica. ¿Hay ejemplos de distribuciones no normales que tengan los primeros cuatro momentos iguales a los normales? ¿Podrían existir en
¿Por qué la divergencia KL no es negativa? Desde la perspectiva de la teoría de la información, tengo una comprensión tan intuitiva: Digamos que hay dos conjuntos y que se componen del mismo conjunto de elementos etiquetados por . y son diferentes distribuciones de probabilidad sobre el conjunto...
Consideremos las siguientes dos distribuciones de probabilidad P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 He calculado la divergencia de Kullback-Leibler que es igual a 0.4928202580.4928202580.492820258 , quiero saber en general ¿qué me...
Supongamos que tengo dos conjuntos e y una distribución de probabilidad conjunta sobre estos conjuntos . Supongamos que y denotan las distribuciones marginales sobre e respectivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY La información mutua entre e se define
He leído este hilo , y me parece que se puede decir que: estadística = inducción? probabilidad = deducción? Pero me pregunto si podría haber más detalles sobre la comparación que me estoy perdiendo. Por ejemplo, ¿las estadísticas son iguales a la inducción, o es solo un caso particular? Parece...