Hoy se me ocurrió que la distribución podría verse como un compromiso entre Gauss y Laplace distribuciones, para y¿Tal distribución tiene un nombre? ¿Y tiene una expresión para su constante de normalización? El cálculo me deja perplejo, porque no sé cómo comenzar a resolver incluso en la...
Si nos fijamos en la documentación http://keras.io/optimizers/ hay un parámetro en el SGD para la descomposición. Sé que esto reduce la tasa de aprendizaje con el tiempo. Sin embargo, no puedo entender cómo funciona exactamente. ¿Es un valor que se multiplica por la tasa de aprendizaje como lr = lr...
Recientemente estaba corriendo y aprendiendo el flujo del tensor y obtuve algunos histogramas que no sabía cómo interpretar. Por lo general, pienso en la altura de las barras como la frecuencia (o frecuencia / recuento relativo). Sin embargo, el hecho de que no haya barras como en un histograma...
En una pregunta que hice recientemente , me dijeron que era un gran "no-no" extrapolar con loess. Pero, en el artículo más reciente de Nate Silver en FiveThirtyEight.com , habló sobre el uso de loess para hacer predicciones electorales. Estaba discutiendo los detalles específicos de los...
Usualmente usamos PCA como técnica de reducción de dimensionalidad para datos donde se supone que los casos son iid Pregunta: ¿Cuáles son los matices típicos en la aplicación de PCA para datos dependientes que no son iid? ¿Qué propiedades agradables / útiles de PCA que se mantienen para los datos...
He visto dos tipos de formulaciones de pérdida logística. Podemos mostrar fácilmente que son idénticos, la única diferencia es la definición de la etiqueta yyy . Formulación / notación 1, y∈{0,+1}y∈{0,+1}y \in \{0, +1\} : L ( y, βTx ) = - yIniciar sesión( p ) - ( 1 - y) registro( 1 - p...
He estado revisando esta descripción general de las fórmulas lm / lmer R de @conjugateprior y la siguiente entrada me ha confundido: Ahora suponga que A es aleatorio, pero B es fijo y B está anidado dentro de A. aov(Y ~ B + Error(A/B), data=d) A continuación, lmer(Y ~ B + (1 | A:B), data=d)...
Después de mucho arrastre de Cross Validated, todavía no siento que estoy más cerca de entender la divergencia de KL fuera del ámbito de la teoría de la información. Es bastante extraño que alguien con experiencia en matemáticas encuentre mucho más fácil entender la explicación de la teoría de la...
Estoy investigando algunas técnicas de optimización para el aprendizaje automático, pero me sorprende descubrir que un gran número de algoritmos de optimización se definen en términos de otros problemas de optimización. Ilustramos algunos ejemplos a continuación. Por ejemplo...
Supongamos que quiero crear un modelo de regresión logística que pueda estimar la probabilidad de ocurrencia de algunas especies animales que viven en los árboles en función de las características de los árboles (altura de fe). Como siempre, mi tiempo y dinero son limitados, por lo tanto, solo...
Estoy tratando de tener una idea de los méritos y los inconvenientes relativos, así como los diferentes dominios de aplicación de estos dos esquemas MCMC. ¿Cuándo usarías cuál y por qué? Cuándo podría uno fallar pero el otro no (por ejemplo, dónde es aplicable HMC pero SMC no, y...
He estado leyendo mucho sobre el algoritmo -snettt para la reducción de dimensionalidad. Estoy muy impresionado con el rendimiento en los conjuntos de datos "clásicos", como MNIST, donde logra una separación clara de los dígitos ( ver artículo original ): También lo he usado para visualizar las...
Estoy interesado en aprender cómo desarrollar una aproximación geográfica de algún tipo de epicentro basado en los datos del brote de cólera John Snow. Qué modelo estadístico podría usarse para resolver un problema de este tipo sin un conocimiento previo de dónde están ubicados los pozos. Como...
A menudo, en el curso de mi (auto-) estudio de estadística, conocí la terminología " álgebra generada por una variable aleatoria". No entiendo la definición en Wikipedia , pero lo más importante es que no tengo la intuición detrás de ella. ¿Por qué / cuándo necesitamos σ - álgebras generadas por...
La definición del parámetro min_child_weight en xgboost se da como: suma mínima de peso de instancia (hessian) necesaria en un niño. Si el paso de partición del árbol da como resultado un nodo hoja con una suma de peso de instancia menor que min_child_weight, entonces el proceso de construcción...
Todos los libros de texto que he visto hasta ahora describen algoritmos de ML y cómo implementarlos. ¿Existe también un libro de texto que construya teoremas y pruebas del comportamiento de esos algoritmos? por ejemplo, que indica que bajo condiciones , de descenso de gradiente siempre dará lugar...
Los mecanismos de atención se han utilizado en varios documentos de Deep Learning en los últimos años. Ilya Sutskever, jefe de investigación de Open AI, los ha elogiado con entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de la Universidad de...
Al construir un modelo predictivo utilizando técnicas de aprendizaje automático, ¿cuál es el punto de hacer un análisis exploratorio de datos (EDA)? ¿Está bien saltar directamente a la generación de características y construir su (s) modelo (s)? ¿Cómo son importantes las estadísticas descriptivas...
Monty sabía perfectamente si la Puerta tenía una cabra detrás (o estaba vacía). Este hecho permite al jugador duplicar su tasa de éxito a lo largo del tiempo al cambiar las "conjeturas" a la otra puerta. ¿Y si el conocimiento de Monty fuera menos que perfecto? ¿Qué pasa si a veces el Premio...
Estoy escribiendo un ejemplo y he inventado algunos datos. Quiero que quede claro para el lector que no se trata de datos reales, pero tampoco quiero dar la impresión de malicia, ya que solo sirve como ejemplo. No hay un componente (pseudo) aleatorio para estos datos en particular, por lo que me...