Utilizo RNN bidireccional para detectar un evento de ocurrencia desequilibrada. La clase positiva es 100 veces menos frecuente que la clase negativa. Si bien no se utiliza la regularización, puedo obtener un 100% de precisión en el conjunto de trenes y un 30% en el conjunto de validación. Enciendo...
He estado en algunas charlas de estadísticas recientemente sobre el Lazo (regularización) y un punto que sigue surgiendo es que realmente no entendemos por qué funciona el Lazo o por qué funciona tan bien. Me pregunto a qué se refiere esta declaración. Obviamente, entiendo por qué el Lazo funciona...
Si tengo un diseño de matriz , donde n es el número de observaciones de dimensión d , lo que es la complejidad de la solución para β = argmin β 1X∈ Rn × dX∈Rnorte×reX\in\mathcal{R}^{n\times d}nortenortenreredcon LASSO, wrtny? Creo que la respuesta debería referirse a cómounaiteración de LASSO se...
En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?
Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En la práctica, esto se hace usando un multiplicador de...
Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5...
Siguiendo con mi pregunta anterior , la solución a las ecuaciones normales para la regresión de crestas viene dada por: β^λ=(XTX+λI)−1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty ¿Podría ofrecer alguna guía para elegir el parámetro de regularización ? Además, dado que la...
Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las frecuencias observadas de mis cuatro eventos (18) puedo calcular las...
Cuando , el problema de mínimos cuadrados que impone una restricción esférica en el valor de se puede escribir como para un sistema sobredeterminado. \ | \ cdot \ | _2 es la norma euclidiana de un vector.y=Xβ+ey=Xβ+ey = X\beta +
\def\l{|\!|} Dada la regresión neta elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 ¿Cómo se puede elegir un rango apropiado de λλ\lambda para la validación...
Investigando sobre el algoritmo xgboost, revisé la documentación . En este enfoque, los árboles se regularizan utilizando la definición de complejidad donde y son parámetros, es el número de hojas terminales y es la puntuación en cada hoja.Ω ( f) = γT+12λ∑j = 1Tw2jΩ(F)=γT+12λ∑j=1Twj2 \Omega(f) =...
Observé que la función lazo en MATLAB es relativamente lenta. Corro muchos problemas de regresión, con típicamente 1 a 100 predictores y 200 a 500 observaciones. En algunos casos, el lazo resultó ser extremadamente lento (para resolver un problema de regresión, tomó varios minutos). Descubrí que...
En su artículo seminal 'Regresión de ángulo mínimo' , Efron et al describen una modificación simple del algoritmo LARS que permite calcular las rutas completas de regularización de LASSO. He implementado esta variante con éxito y, por lo general, trazo la ruta de salida en comparación con el...
Hay tantas técnicas de regularización que no es práctico probar todas las combinaciones: l1 / l2 norma máxima abandonar parada temprana ... Parece que la mayoría de las personas están contentas con una combinación de abandono escolar y parada temprana: ¿hay casos en los que tenga sentido usar...
Tuve una entrevista de trabajo para un puesto de ciencia de datos. Durante la entrevista, me preguntaron qué debo hacer para asegurarme de que el modelo no se ajuste demasiado. Mi primera respuesta fue utilizar la validación cruzada para evaluar el rendimiento del modelo. Sin embargo, el...
Actualmente estoy aprendiendo regresión de cresta y estaba un poco confundido acerca de la penalización de modelos más complejos (o la definición de un modelo más complejo). Por lo que entiendo, la complejidad del modelo no se correlaciona necesariamente con el orden polinómico. Entonces: es un...
En las notas de la semana 3 de la clase Coursera Machine Learning de Andrew Ng , se agrega un término a la función de costos para implementar la regularización: J+(θ)=J(θ)+λ2m∑j=1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Las notas de la...
Estoy estudiando la diferencia entre la regularización en la regresión RKHS y la regresión lineal, pero me resulta difícil comprender la diferencia crucial entre los dos. (xi,yi)(xi,yi)(x_i,y_i)f(⋅)f(⋅)f(\cdot)f(x)≈u(x)=∑i=1mαiK(x,xi),f(x)≈u(x)=∑i=1mαiK(x,xi),\begin{equation}f(x)\approx...
Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la...
Por lo general, se dice que los antecedentes de las estadísticas bayesianas pueden considerarse factores de regularización, ya que penalizan las soluciones donde los lugares anteriores tienen una baja densidad de probabilidad. Entonces, dado este modelo simple cuyos parámetros MLE son: a r gm...