¿Cuál es el lazo en el análisis de regresión?

Estoy buscando una definición no técnica del lazo y para qué se utiliza.

El LASSO (Operador de selección y contracción menos absoluta) es un método de regresión que implica penalizar el tamaño absoluto de los coeficientes de regresión.

Al penalizar (o restringir de manera equivalente la suma de los valores absolutos de las estimaciones) termina en una situación en la que algunas de las estimaciones de los parámetros pueden ser exactamente cero. Cuanto mayor es la penalización aplicada, las estimaciones adicionales se reducen a cero.

Esto es conveniente cuando queremos una selección automática de características / variables, o cuando se trata de predictores altamente correlacionados, donde la regresión estándar generalmente tendrá coeficientes de regresión que son "demasiado grandes".

https://web.stanford.edu/~hastie/ElemStatLearn/ (descarga gratuita) tiene una buena descripción del LASSO y los métodos relacionados.

La regresión LASSO es un tipo de análisis de regresión en el que tanto la selección de variables como la regulización ocurren simultáneamente. Este método utiliza una penalización que afecta el valor de los coeficientes de regresión. A medida que aumenta la penalización, más coeficientes se vuelven cero y viceversa. Utiliza la técnica de normalización L1 en la que se usa el parámetro de ajuste como cantidad de contracción. A medida que aumenta el parámetro de ajuste, aumenta el sesgo y, a medida que disminuye, aumenta la varianza. Si es constante, entonces ningún coeficiente es cero y, como es, tiende al infinito, entonces todos los coeficientes serán cero.

En la regresión "normal" (OLS) el objetivo es minimizar la suma residual de cuadrados (RSS) para estimar los coeficientes

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$$

En caso de regresión LASSO, estima los coeficientes con un enfoque ligeramente diferente:

$$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$$

$\lambda$$\lambda$

$\lambda = 0$$\operatorname{argmin}$$\lambda = 1$$\lambda$cuanto más penalización se aplique a los coeficientes y más pequeños serán los coeficientes, algunos podrían llegar a ser cero. Eso significa que LASSO puede dar como resultado modelos parsimoniosos al hacer la selección de funciones y evita que el modelo se sobreajuste. Dicho esto, puede usar LASSO si tiene muchas características y su objetivo es más bien predecir datos que interpretar los coeficientes de su modelo.