¿La normalización L2 de la regresión de cresta castiga la intercepción? Si no, ¿cómo resolver su derivada?

Soy nuevo en ML. Me informaron que la normalización L2 de la regresión de cresta no castiga la intercepción . Como en la función de costo: El término de normalización L2 solo suma de a , no de a . También leí eso:$\theta_{0}$

$$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$j=1$$n$$j=0$$n$

en la mayoría de los casos (¿todos los casos?), es mejor no regularizar , ya que es poco probable que reduzca el sobreajuste y reduzca el espacio de funciones representables$\theta_{0}$

que proviene de la última respuesta del usuario 48956 de ¿Por qué un modelo de regresión lineal de intersección cero predice mejor que un modelo con una intersección?

Estoy confundido acerca de cómo resolver la derivada de la función de costo, ya que: donde , y .

$$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$$ $\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$$\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$$X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$\theta^{'}$ y son diferentes. Por lo tanto, no se pueden mezclar desde mi punto de vista. Y la derivada es acerca de , que contiene . Después de buscar en Google y ver las preguntas en este foro, todavía no hay forma de obtener la solución: ¿Alguien puede darme una pista? ¡Gracias de antemano por tu ayuda!$\theta$$\theta$$\theta^{'}$

$$\theta=(X^TX+\lambda*I)^{-1}X^TY$$

Sin embargo, creo que hay dos soluciones rápidas a este problema:

En primer lugar, no añadimos toda la columna de la 1 a . A saber, . Es decir, no incluimos la intersección en absoluto en el modelo: Creo que este método se adoptó en el clásico libro Machine Learning in Action de Peter Harrington que estoy leyendo actualmente. En su implementación de regresión de cresta (P166 y P177 si también tiene el libro), toda la pasada a la regresión de cresta no tiene la columna 1.$X$$X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$$ $X$

En segundo lugar, la intercepción también está siendo castigada en la realidad.

La regresión logística de scikit regulariza la intercepción por defecto.

que una vez más proviene de la última respuesta del usuario 48956 de ¿Por qué un modelo de regresión lineal de intersección cero predice mejor que un modelo con una intersección?

Ambas soluciones rápidas conducen a la solución

$$\theta=(X^TX+\lambda*I)^{-1}X^TY.$$

Entonces, ¿se puede resolver la derivada de la normalización L2 de la regresión de cresta o solo se resuelven con soluciones rápidas?

Los elementos del aprendizaje estadístico por Hastie et al. señala en P63 que:

la intercepción ha quedado fuera del plazo de penalización$\theta_{0}$

Además, dice:

Las soluciones de cresta no son equivalentes bajo la escala de las entradas, por lo que normalmente se normalizan las entradas antes de resolver (3.41) (3.41 es la función de costo). Se puede mostrar (Ejercicio 3.5) que la solución a (3.41) se puede separar en dos partes, después de la reparametrización utilizando entradas centradas: cada se reemplaza por Estimamos por Los coeficientes restantes se estiman mediante una regresión de cresta sin interceptar, utilizando la centrada . En adelante, suponemos que este centrado se ha realizado, de modo que la matriz de entrada tiene$X_{j}^{(i)}$$X_{j}^{(i)}-\overline{x_{j}}.$$\theta_{0}$$\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$X_{j}^{(i)}$$X$$n$(en lugar de ) columnas.$n + 1$

Aunque me pregunto por qué The Elements of Statistical Learning primero sugiere la estandarización de características y luego solo se realiza el centrado de características. Tal vez para estar de acuerdo con el ejercicio 3.5, que solo utiliza el centrado de funciones.

De todos modos, creo que es correcto aplicar la estandarización de puntaje z a las características. Así que ahora trato de resolver la derivada de la función de costo de la regresión de cresta siguiendo la sugerencia de la ameba comentarista anterior. ¡Muchas gracias!

Primero, la función de costo: donde es la media del atributo y es la desviación estándar de . Para hacerlo más corto: Ahora calculamos primero el valor de

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$$ $\overline{X_j}$$X_{j}$$\sigma_j$$X_{j}$ $$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\theta_0$en la expresión anterior estableciendo la derivada con respecto a igual a cero. Como no tiene , obtenemos: Es decir: As (porque es el media del atributo ), entonces ahora tenemos$\theta_0$$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$\theta_{0}$ $$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $\overline{X_j}$$X_{j}$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$$ obviamente: $$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$

Por lo tanto, la intersección de la regresión de cresta estandarizada por características es siempre . Por lo tanto, si primero centralizamos restando su media (get para el ejemplo de datos ), no incluimos todas las 1 columnas en , y luego hacemos estandarización de características en (get para del ejemplo de datos ) , la función de costo será simplemente Eso es $\overline{y}$$Y$$(y_i)^{'}$$i$$X$$X$$(X_j^{(i)})^{'}$$X_{j}$$i$

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$$ donde , no tiene toda la columna 1 y estandarizado de , está centrada con respecto a . Ahora (sin ) se puede resolver con: Para características estandarizadas, el modelo lineal será donde $\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$$X^{'}$$X$$Y^{'}$$Y$$\theta$$\theta_0$ $$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$$ $$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$$ $$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$$ Si usamos (2) en (1) como se sugiere en la respuesta de Plasty Grove . Entonces, para los datos de entrada de origen, el modelo lineal será Eso es Es por eso que después de resolver los coeficientes de las características estandarizadas, para devolver los coeficientes de los datos de entrada de origen (sin estandarizar características), debemos devolver
$$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$$ $$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$$ $\theta_i/\sigma_i$