El límite del estimador de regresión de cresta "unidad-varianza" cuando

Considere la regresión de cresta con una restricción adicional que requiere que tenga una unidad de suma de cuadrados (equivalente, varianza de unidad); si es necesario, se puede suponer que tiene una unidad de suma de cuadrados: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

¿Cuál es el límite de $\hat{\boldsymbol\beta}_\lambda^*$ cuando $\lambda\to\infty$ ?

Aquí hay algunas declaraciones que creo que son ciertas:

Cuando $\lambda=0$ , hay una solución explícita clara: tome el estimador OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ y normalizarlo para satisfacer la restricción (se puede ver esto agregando un multiplicador de Lagrange y diferenciando):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
En general, la solución es
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ No veo una solución de forma cerrada cuando $\lambda >0$ . Parece que la solución es equivalente al estimador RR habitual con algunos $\lambda^*$ normalizados para satisfacer la restricción, pero no veo una fórmula cerrada para $\lambda^*$ .
Cuando $\lambda\to \infty$ , el estimador RR habitual
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ obviamente converge a cero, pero su dirección $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ converge a la dirección de $\mathbf X^\top \mathbf y$ , también conocido como el primer componente de mínimos cuadrados parciales (PLS).

Las declaraciones (2) y (3) juntas me hacen pensar que quizás $\hat{\boldsymbol\beta}_\lambda^*$ también converge a la normalizada $\mathbf X^\top \mathbf y$ , pero no estoy seguro de si esto es correcto y no he logrado convencerme de ninguna manera.

pca regularization ridge-regression partial-least-squares constrained-regression ameba dice Reinstate Monica
fuente

Respuestas:

Una interpretación geométrica

El estimador descrito en la pregunta es el equivalente multiplicador de Lagrange del siguiente problema de optimización:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

que se puede ver, geométricamente, como encontrar el elipsoide más pequeño que toca la intersección de la esfera el elipsoide $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Comparación con la vista de regresión de cresta estándar

En términos de una vista geométrico esto cambia el viejo vista (por regresión ridge estándar) del punto en el que un esferoide (errores) y esfera ( ) táctil $\|\beta\|^2=t$ . En una nueva vista donde buscamos el punto donde el esferoide (errores) toca una curva (norma de beta restringida por ) $\|X\beta\|^2=1$ . La única esfera (azul en la imagen de la izquierda) cambia a una figura de menor dimensión debido a la intersección con la restricción . $\|X\beta\|=1$

En el caso bidimensional, esto es simple de ver.

Cuando sintonizar el parámetro entonces cambiar la longitud relativa de las esferas azules / rojo o los tamaños relativos de y (En la teoría de los multiplicadores de Lagrange es probable que haya una clara forma de formalmente y describa exactamente que esto significa que para cada como función de , o invertida, es una función monótona. Pero imagino que puede ver intuitivamente que la suma de los residuos al cuadrado solo aumenta cuando disminuimos .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

La solución para es como argumentó en una línea entre 0 y $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

La solución para está (de hecho, como comentaste) en las cargas del primer componente principal. Este es el punto donde es el más pequeño para . Es el punto donde el círculo toca la elipse en un solo punto. $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

En esta vista los bordes de la intersección de la esfera esferoides son puntos. En múltiples dimensiones, estas serán curvas $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Primero imaginé que estas curvas serían elipses, pero son más complicadas. Se podría imaginar que el elipsoide se cruza con la bola como algunos tipo de tronco elipsoide pero con bordes que no son simples elipses) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

En cuanto al límite $\lambda \to \infty$

Al principio (ediciones anteriores) escribí que habrá algunas limitantes por encima de las cuales todas las soluciones son las mismas (y residen en el punto ). Pero este no es el caso $\lambda_{lim}$ $\beta^*_\infty$

Considere la optimización como un algoritmo LARS o descenso de gradiente. Si para cualquier punto hay una dirección en la que podemos cambiar el modo que el término de penalización aumente menos que el término SSR disminuye, entonces no está en un mínimo . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

En la regresión de cresta normal , tiene una pendiente cero (en todas las direcciones) para en el punto . Entonces, para todos los finitos, la solución no puede ser (ya que se puede hacer un paso infinitesimal para reducir la suma de los residuos al cuadrado sin aumentar la penalización). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Para LASSO, esto no es lo mismo ya que: la penalización es (por lo que no es cuadrática con pendiente cero). Debido a eso, LASSO tendrá un valor límite encima del cual todas las soluciones son cero porque el término de penalización (multiplicado por ) aumentará más de lo que disminuye la suma residual de cuadrados. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Para la cresta restringida , obtienes lo mismo que la regresión de cresta regular. Si cambia partir de entonces este cambio será perpendicular a ( es perpendicular a la superficie de la elipse ) y se puede cambiar en un paso infinitesimal sin cambiar el término de penalización pero disminuyendo la suma de los residuos al cuadrado. Por lo tanto, para cualquier finita, el punto no puede ser la solución. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Notas adicionales sobre el límite $\lambda \to \infty$

El límite de regresión de cresta habitual para al infinito corresponde a un punto diferente en la regresión de cresta restringida. Este límite 'antiguo' corresponde al punto donde es igual a -1. Entonces la derivada de la función de Lagrange en el problema normalizado $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ corresponde a una solución para la derivada de la función Lagrange en el problema estándar

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Escrito por StackExchangeStrike

Sexto Empírico
fuente

+1. Muchas gracias, esto es super útil! Necesitaré algo de tiempo para pensarlo.

ameba dice Reinstate Monica

Vale la pena señalar que los elipsoides rojo y negro tienen la misma forma: es por eso que el punto donde tocan se encuentra en la línea que conecta sus centros. Buena prueba gráfica del punto # 1 en mi pregunta.

ameba dice Reinstate Monica

Estoy tratando de entender en qué parte de su dibujo está la beta que corresponde al estimador de cresta con lambda infinita, normalizado para descansar en la elipse negra. Creo que está en algún lugar entre

(usando mi notación): dos puntos marcados con círculos negros abiertos en su dibujo. Entonces, si hacemos una regresión de cresta y normalizamos la solución y aumentamos lambda de 0 a infinito, probablemente nos lleve a lo largo del mismo arco, pero no todo el camino hasta PC1. En cambio, poner la restricción

explícitamente hace que las soluciones vayan hasta PC1.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

ameba dice Reinstate Monica

+5 (comencé una recompensa que felizmente otorgaré a tu respuesta). También publiqué mi propia respuesta porque hice algunas derivaciones algebraicas y fue demasiado para agregar a la pregunta. No estoy convencido por su conclusión de que la habrá algún finita

después de lo cual la solución no va a cambiar más y será impartida por el PC1. No lo veo algebraicamente, y no entiendo muy bien tu argumento de por qué debería existir. Intentemos resolverlo.

λ_{lim}

$\lambda_\text{lim}$

ameba dice Reinstate Monica

@amoeba, tenías razón en lo finito

no existente. Discutí demasiado intuitivamente y salté rápidamente de una condición particular para la regresión de cresta regular a la regresión de cresta restringida. RR regular tiene una pendiente cero (en todas las direcciones) para

en el punto

. Pensé que (desde

) no obtienes esto con la regresión restringida. Sin embargo, porque

está limitado al elipsoide

no puede 'mover'

en todas las direcciones.

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

Sextus Empiricus

Esta es una contraparte algebraica de la hermosa respuesta geométrica de @ Martijn.

Primero de todo, el límite de cuando es muy simple para obtener: en el límite, el primer término en la función de pérdida es despreciable y por lo tanto se puede despreciar. El problema de optimización se convierte en

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

que es el primer componente principal de

(con la escala adecuada). Esto responde a la pregunta.

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$

Ahora consideremos la solución para cualquier valor de que me referí en el punto # 2 de mi pregunta. Sumando a la función de pérdida el multiplicador de Lagrange y diferenciando, obtenemos $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

¿Cómo se comporta esta solución cuando crece de cero a infinito? $\lambda$

Cuando , obtenemos una versión a escala de la solución $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Para valores positivos, pero pequeños de , la solución es una versión a escala de algunas estimador de $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Cuando , el valor de necesario para satisfacer la restricción es . Esto significa que la solución es una versión reducida del primer componente PLS (lo que significa que de la correspondiente estimador Ridge es $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Cuando hace más grande que eso, el término necesario se vuelve negativo. De ahora en adelante, la solución es una versión a escala de un estimador de pseudo cresta con parámetro de regularización negativo ( cresta negativa ). En términos de direcciones, ahora hemos pasado la regresión de cresta con lambda infinita. $\lambda$ $(1+\mu)$
$\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

En general, vemos que este problema de minimización restringida abarca versiones de varianza unitaria de OLS, RR, PLS y PCA en el siguiente espectro:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$

A pesar de tener bastante experiencia con RR / PLS / PCA / etc., debo admitir que nunca antes había escuchado sobre "regresión continua". También debería decir que no me gusta este término.

Un esquema que hice basado en el de @ Martijn:

Actualización: Figura actualizada con la ruta de cresta negativa, muchas gracias a @Martijn por sugerir cómo debería verse. Vea mi respuesta en Entender la regresión de cresta negativa para más detalles.

ameba dice Reinstate Monica
fuente

La "regresión continua" parece ser una de una categoría sorprendentemente amplia de técnicas destinadas a unificar PLS y PCA dentro de un marco común. Por cierto, nunca había oído hablar de él, hasta que investigué la cresta negativa (proporciono un enlace al documento de Bjorkstron & Sundberg, 1999, en el primer comentario de la pregunta de la cresta negativa a la que se vincula), aunque parece ser bastante discutido en La literatura quimiométrica. Debe haber alguna razón histórica por la cual se ha desarrollado aparentemente aislado de otros campos de la estadística. (1/3)

Ryan Simmons

Un artículo que tal vez quiera leer es de Jong et al. (2001) . Su formulación de "PLS canónico" parece en un vistazo rápido ser equivalente a la suya, aunque admito que todavía no he comparado rigurosamente las matemáticas (también proporcionan una revisión de varias otras generalizaciones de PLS-PCA en la misma línea). Pero puede ser perspicaz ver cómo han explicado el problema. (2/3)

Ryan Simmons

En caso de que ese enlace muera, la cita completa es: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. "Mínimos cuadrados parciales canónicos y regresión de potencia continua". Journal of Chemometrics, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

Ryan Simmons

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

El límite del estimador de regresión de cresta "unidad-varianza" cuando

Respuestas:

Una interpretación geométrica

Comparación con la vista de regresión de cresta estándar

En cuanto al límiteλ→∞λ→∞\lambda \to \infty

Notas adicionales sobre el límiteλ→∞λ→∞\lambda \to \infty

En cuanto al límite $\lambda \to \infty$

Notas adicionales sobre el límite $\lambda \to \infty$