Estoy buscando literatura sobre regresión de cresta negativa . En resumen, es una generalización de la regresión lineal de crestas usando negativa en la fórmula del estimador:El caso positivo tiene una buena teoría: como una función de pérdida, como una restricción, como un Bayes anterior ... pero...
Me gustaría plantear esta pregunta en dos partes. Ambos tratan con un modelo lineal generalizado, pero el primero trata con la selección del modelo y el otro con la regularización. Antecedentes: Utilizo modelos GLM (lineal, logística, regresión gamma) tanto para la predicción como para la...
Últimamente he estado viendo muchos documentos sobre representaciones dispersas, y la mayoría de ellos usan la norma ℓpℓp\ell_p y minimizan un poco. Mi pregunta es, ¿cuál es la norma ℓpℓp\ell_p y la norma mixta ℓp,qℓp,q\ell_{p, q} ? ¿Y cómo son relevantes para la...
¿Alguien puede señalarme en la dirección de un algoritmo en línea (recursivo) para la regularización de Tikhonov (mínimos cuadrados regularizados)? En una configuración fuera de línea, calcularía usando mi conjunto de datos original donde se encuentra usando la validación cruzada n-fold. Se puede...
Esta publicación sigue a esta: ¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal? Aquí está mi pregunta: Hasta donde yo sé, la regularización de crestas utiliza una -norm (distancia euclidiana). Pero, ¿por qué usamos el cuadrado de esta norma? (una...
Para evitar el sobreajuste de las personas, las personas agregan un término de regularización (proporcional a la suma al cuadrado de los parámetros del modelo) con un parámetro de regularización a la función de costo de la regresión lineal. ¿Es este parámetro lo mismo que un multiplicador lagrange?...
En la detección comprimida, existe una garantía de teorema de que tiene una solución dispersa única c (consulte el apéndice para obtener más detalles).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc ¿Existe un teorema similar para...
Aquí hay un ejemplo de código keras que lo usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Escucho estas palabras cada vez más a medida que estudio el aprendizaje automático. De hecho, algunas personas han ganado la medalla Fields trabajando en regularidades de ecuaciones. Entonces, supongo que este es un término que se traslada de la física estadística / matemáticas al aprendizaje...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . ¿Qué implementaciones de código abierto, en...
Aquí hay algo que leí en el libro de Ian Goodfellow Deep Learning . En el contexto de las redes neuronales, "la penalización de la norma del parámetro L2 se conoce comúnmente como pérdida de peso. Esta estrategia de regularización lleva los pesos más cerca del origen. [...] Más en general,...
Por técnicas de regularización me refiero a lazo, regresión de cresta, red elástica y similares. Considere un modelo predictivo sobre datos de atención médica que contenga datos demográficos y de diagnóstico en los que se pronostique la duración de la estadía para hospitalización. Para algunos...
Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos...
Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f (lambda) = error...
Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO....
Hay muchos métodos para llevar a cabo la regularización - , y regularización basada norma, por ejemplo. Según Friedman Hastie & Tibsharani , el mejor regularizador depende del problema: a saber, la naturaleza de la verdadera función objetivo, la base particular utilizada, la relación señal /...
Si tengo un diseño de matriz , donde n es el número de observaciones de dimensión d , lo que es la complejidad de la solución para β = argmin β 1X∈ Rn × dX∈Rnorte×reX\in\mathcal{R}^{n\times d}nortenortenreredcon LASSO, wrtny? Creo que la respuesta debería referirse a cómounaiteración de LASSO se...
En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?
He estado en algunas charlas de estadísticas recientemente sobre el Lazo (regularización) y un punto que sigue surgiendo es que realmente no entendemos por qué funciona el Lazo o por qué funciona tan bien. Me pregunto a qué se refiere esta declaración. Obviamente, entiendo por qué el Lazo funciona...
Como dice el título, estoy tratando de replicar los resultados de glmnet linear usando el optimizador LBFGS de la biblioteca lbfgs. Este optimizador nos permite agregar un término regularizador L1 sin tener que preocuparnos por la diferenciabilidad, siempre que nuestra función objetivo (sin el...