Normalización vs. Normalización para la regresión de lazo / cresta

Soy consciente de que es una práctica común estandarizar las características para la regresión de cresta y lazo; sin embargo, ¿sería más práctico normalizar las características en una escala (0,1) como alternativa a la estandarización de la puntuación z para estos métodos de regresión?

normalization lasso standardization ridge-regression Steve
fuente

Respuestas:

Si aplica la normalización (apriete en [0,1]) tendrá una medida de importancia variable relativa pero cambiará la escala de sus variables y perderá toda la capacidad de interpretación del modelo. La ventaja de la estandarización es que aún puede interpretar el modelo como lo haría con una regresión OLS no regularizada (esto ya se ha respondido aquí ).

Digio
fuente

¡El modelo regularizado está actuando de manera muy diferente con o sin normalización! Específicamente, si no normalizamos las funciones, ¡tendremos diferentes penalizaciones en diferentes funciones!

Haitao Du

Estaba hablando específicamente de la interpretación del coeficiente Lasso , no de la estimación. Dado que las estimaciones cambiarían, me gustaría saber cómo cambiaría la interpretación del modelo.

Digio

No me parece que la pregunta a la que se vincula en su respuesta respalde el punto que está haciendo. ¿Podría hacer más explícito en su publicación original por qué la interpretación de los coeficientes de ols coincide con los coeficientes de lazo solo cuando las características están estandarizadas? ¡Gracias!

user795305

@Ben, entendiste mal mi respuesta (quizás por mi culpa). La respuesta a la que he vinculado explica cómo se interpretan los coeficientes del modelo en lazo y en regresión simple (MCO o no) de la misma manera, bajo cualquier circunstancia (estandarizada o no). Con la normalización (en cualquier tipo o regresión paramétrica), pierde la escala original y no puede interpretar los coeficientes sin una transformación inversa. Con la estandarización, usted interpreta el modelo de la manera normal.

Digio

La normalización es muy importante para los métodos con regularización. Esto se debe a que la escala de las variables afecta la cantidad de regularización que se aplicará a una variable específica.

Por ejemplo, supongamos que una variable está en una escala muy grande, digamos un orden de millones y otra variable es de 0 a 1. Entonces, podemos pensar que la regularización tendrá poco efecto en la primera variable.

Así como hacemos la normalización, normalizarlo a 0 a 1 o estandarizar las características no importa demasiado.

Haitao Du
fuente

Esta respuesta indica lo obvio. Por "normalización" aquí se entiende exprimir todos los valores en [0,1], no es solo otra palabra para la estandarización. La pregunta es sobre los efectos de la normalización en [0,1] frente a la estandarización ~ N (0,1) en los coeficientes del modelo.

Digio

¿Qué significa normalizar a [0,1]? Hay muchas formas de lograr eso. ¿Cuál es exactamente su recomendación para la regresión penalizada?

Cagdas Ozgenc

Como la pregunta establece "normalizar las características en una escala (0,1)", aunque quizás la reescalada de características sea un término mejor, es una técnica general para producir estimaciones de coeficientes que expresan una importancia variable relativa (similar a la medida de pureza de RF). Sí, hay muchas maneras de lograr esto y no es algo específico para la regresión penalizada, pero esta pregunta es sobre el efecto de la reescalado de características (no la estandarización) en Lasso.

Digio

¿Qué quiere decir con "normalizar a 0 a 1 o estandarizar las características no importa demasiado"? ¿En qué sentido no importa demasiado? ¿Podría proporcionar alguna intuición o referencias para este reclamo?

user795305