Estoy tratando de encontrar la estimación MAP para un modelo por gradiente de descenso. Mi anterior es gaussiano multivariante con una matriz de covarianza conocida. A nivel conceptual, creo que sé cómo hacer esto, pero esperaba ayuda con los detalles. En particular, si hay una manera más fácil de...
Entiendo que los coeficientes de una ecuación logística se pueden interpretar como una relación impar. Si se agrega un término de regularización para controlar el sobreajuste, ¿cómo cambia esto la interpretación de los
Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la...
Por lo general, se dice que los antecedentes de las estadísticas bayesianas pueden considerarse factores de regularización, ya que penalizan las soluciones donde los lugares anteriores tienen una baja densidad de probabilidad. Entonces, dado este modelo simple cuyos parámetros MLE son: a r gm...
Estoy tratando de entender cómo funciona la regularización en términos de proyecciones en una bola , y la proyección euclidiana en el simplex.l∗l∗l_* No estoy seguro de entender lo que queremos decir cuando proyectamos el vector de peso en las o .l1l1l_1l2l2l_2 Puedo entender el concepto de...
Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones...
Estoy retrocediendo un predictor continuo en más de 60 variables (tanto continuas como categóricas) usando LASSO (glmnet). Al examinar el gráfico de traza variable, noto que a medida que aumenta el registro lambda, una de las variables clave tiene un coeficiente que en realidad aumenta. Luego,...
Una propiedad fundamental de la regresión de efectos aleatorios es que las estimaciones de interceptación aleatoria se "reducen" hacia la media general de la respuesta en función de la varianza relativa de cada estimación. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j +...
Tengo la siguiente configuración para un proyecto de investigación de Finanzas / Aprendizaje automático en mi universidad: estoy aplicando una Red neuronal (profunda) (MLP) con la siguiente estructura en Keras / Theano para distinguir las existencias con mejor rendimiento (etiqueta 1) de las...
Podemos simular una regresión lineal sin aleatoriedad, lo que significa que hacemos lugar de . Entonces, si ajustamos un modelo lineal, los coeficientes serán idénticos a la "verdad fundamental". Aquí hay un ejemplo.y= Xβy=Xβy=X\betay= Xβ+ ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <-...
Cuando se piensa en un histograma como una estimación de la función de densidad, ¿es razonable pensar en el tamaño del contenedor como un parámetro que restringe la estructura local de esa función? Además, ¿hay una mejor manera de articular este