Si es rango completo, existe el inverso de y obtenemos la estimación de mínimos cuadrados: yX T X β = ( X T X ) - 1 X Y Var ( β ) = σ 2 ( X T X ) - 1XXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) =...
En el artículo de DeepMind sobre Deep Q-Learning para videojuegos Atari ( aquí ), utilizan un método de épsilon codicioso para la exploración durante el entrenamiento. Esto significa que cuando se selecciona una acción en el entrenamiento, se elige como la acción con el valor q más alto o como una...
¿Cuál es la forma más fácil de ver que la siguiente afirmación es verdadera? Supongamos que Y1,…,Yn∼iidExp(1)Y1,…,Yn∼iidExp(1)Y_1, \dots, Y_n \overset{\text{iid}}{\sim} \text{Exp}(1) . Mostrar ∑ni=1(Yi−Y(1))∼Gamma(n−1,1)∑i=1n(Yi−Y(1))∼Gamma(n−1,1)\sum_{i=1}^{n}(Y_i - Y_{(1)}) \sim...
Mis profesores de física en la escuela de posgrado, así como el premio Noble Feynman, siempre presentaban lo que llamaban modelos de juguete para ilustrar conceptos y métodos básicos en física, como el oscilador armónico, el péndulo, la peonza y la caja negra. ¿Qué modelos de juguetes se utilizan...
Tengo los datos del vino de aquí que consisten en 11 variables numéricas independientes con una calificación dependiente asociada con cada entrada con valores entre 0 y 10. Esto hace que sea un gran conjunto de datos utilizar un modelo de regresión para investigar la relación entre las variables y...
Las redes neuronales convolucionales más comunes contienen capas de agrupación para reducir las dimensiones de las características de salida. ¿Por qué no podría lograr lo mismo simplemente aumentando el paso de la capa convolucional? ¿Qué hace necesaria la capa de
Estoy tratando de entender a un nivel más profundo la ubicuidad de la probabilidad logarítmica (y quizás más generalmente la probabilidad logarítmica) en estadística y teoría de la probabilidad. Las probabilidades de registro se muestran por todas partes: generalmente trabajamos con la probabilidad...
Estoy leyendo el libro: Obispo, reconocimiento de patrones y aprendizaje automático (2006) que define la familia exponencial como distribuciones de la forma (Ec. 2.194): p(x|η)=h(x)g(η)exp{ηTu(x)}p(x|η)=h(x)g(η)exp{ηTu(x)}p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp...
He visto tramas de error de prueba / entrenamiento que caen repentinamente en ciertas épocas varias veces durante el entrenamiento de la red neuronal, y me pregunto qué causa estos saltos de rendimiento: Esta imagen está tomada de Kaiming He Github, pero en muchos periódicos aparecen tramas...
Estoy trabajando en un proyecto de Machine Learning con datos que ya están (muy) sesgados por la selección de datos. Supongamos que tiene un conjunto de reglas codificadas. ¿Cómo se construye un modelo de aprendizaje automático para reemplazarlo, cuando todos los datos que puede usar son datos...
¿Hay una sola palabra en inglés para denotar el "número de columnas" de una matriz? Por ejemplo, "dimensionalidad" de un matriz es . Necesito un término para 3 en este ejemplo. Siempre puedo decir "número de columnas", por supuesto, pero ¿podría tener una sola palabra para eso?2 × 32×32×32\times...
He visto conclusiones similares en muchas discusiones, que a medida que el tamaño del minibatch aumenta, la convergencia de SGD en realidad se vuelve más difícil / peor, por ejemplo, este documento y esta respuesta . También he oído hablar de personas que utilizan trucos como pequeñas tasas de...
Cuando fue la palabra "sesgo" acuñado a media E[θ^−θ]E[θ^−θ]\mathbb{E}[\hat{\theta}-\theta] ? La razón por la que estoy pensando en esto ahora es porque parece recordar a Jaynes, en su texto de Teoría de la probabilidad , criticando el uso de la palabra "sesgo" utilizado para describir esta...
Muchos tutoriales en línea hablan sobre el descenso del gradiente y casi todos usan un tamaño de paso fijo (tasa de aprendizaje ). ¿Por qué no se utiliza la búsqueda de línea (como la búsqueda de línea de retroceso o la búsqueda de línea
El año pasado, en NIPS 2017, Ali Rahimi y Ben Recht ganaron el premio de la prueba del tiempo por su trabajo "Características aleatorias para máquinas de grano a gran escala", donde introdujeron características aleatorias, que luego se codificaron como el algoritmo de fregaderos de cocina...
Tengo una variable de resultado binaria {0,1} y una variable predictora {0,1}. Creo que no tiene sentido hacer logística a menos que incluya otras variables y calcule la razón de posibilidades. Con un predictor binario, ¿no sería suficiente el cálculo de probabilidad vs razón de probabilidades?...
¿Por qué la divergencia KL no es negativa? Desde la perspectiva de la teoría de la información, tengo una comprensión tan intuitiva: Digamos que hay dos conjuntos y que se componen del mismo conjunto de elementos etiquetados por . y son diferentes distribuciones de probabilidad sobre el conjunto...
En la fórmula de Bayes: P(x|a)=P(a|x)P(x)P(a)P(x|a)=P(a|x)P(x)P(a)P(x|a) = \frac{P(a|x) P(x)}{P(a)} ¿Puede la probabilidad posterior exceder 1?P(x|a)P(x|a)P(x|a) Creo que es posible si, por ejemplo, suponiendo que , y P ( a ) < P ( x ) < 1 , y P ( a ) / P ( x ) < P ( a | x ) < 1 ....
¿La distribución normal converge a cierta distribución si la desviación estándar crece sin límites? me parece que el pdf comienza a verse como una distribución uniforme con límites dados por . ¿Es esto cierto?[−2σ,2σ][−2σ,2σ][-2 \sigma, 2
Estoy en décimo grado y estoy buscando simular datos para un proyecto de feria de ciencias de aprendizaje automático. El modelo final se usará en los datos del paciente y predecirá la correlación entre ciertos momentos de la semana y el efecto que esto tiene sobre la adherencia a la medicación...