Invertir la regresión de cresta: dada la matriz de respuesta y los coeficientes de regresión, encontrar predictores adecuados

Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.$\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$$\Y$$\X$$\B$Β = argmin β { L } = ( X ⊤ X ) + X ⊤ Y

$$L=\|\Y-\X\B\|^2.$$ $$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$$

También puedo plantear un problema "inverso": dado $\Y$ y $\B^*$ , encuentre $\hat\X$ que produciría $\hat\B\approx \B^*$ , es decir, minimizaría $\|\argmin_\B\{L\}-\B^*\|^2$ . En palabras, tengo la matriz de respuesta $\Y$ y el vector de coeficiente $\B^*$ y quiero encontrar la matriz predictora que arroje coeficientes cercanos a $\B^*$ . Esto es, por supuesto, también un problema de regresión de OLS con la solución

$$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$$

Actualización de la aclaración: como explicó @ GeoMatt22 en su respuesta, si $\Y$ es un vector (es decir, si solo hay una variable de respuesta), entonces esta $\hat \X$ será de rango uno, y el problema inverso está enormemente indeterminado. En mi caso, $\Y$ es en realidad una matriz (es decir, hay muchas variables de respuesta, es una regresión multivariada ). Entonces $\X$ es $n\times p$ , $\Y$ es $n\times q$ y $\B$ es $p\times q$ .

---

Estoy interesado en resolver un problema "inverso" para la regresión de cresta. A saber, mi función de pérdida ahora es

$$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$$ y la solución es $$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$$

El problema "inverso" es encontrar

$$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$$

Nuevamente, tengo una matriz de respuesta $\Y$ y un vector de coeficiente $\B^*$ y quiero encontrar una matriz de predicción que produzca coeficientes cercanos a $\B^*$ .

En realidad, hay dos formulaciones relacionadas:

1. Encuentra $\hat\X$ dado $\Y$ y $\B^*$ y $\mu$ .
2. Encuentra y dado y .$\hat\X$$\hat \mu$$\Y$$\B^*$

¿Alguno de ellos tiene una solución directa?

---

Aquí hay un breve extracto de Matlab para ilustrar el problema:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Este código genera cero si mu=0pero no de otra manera.

Ahora que la pregunta ha convergido en una formulación más precisa del problema de interés, he encontrado una solución para el caso 1 (parámetro de cresta conocido). Esto también debería ayudar para el caso 2 (no es exactamente una solución analítica, sino una fórmula simple y algunas restricciones).

Resumen: ninguna de las dos formulaciones de problemas inversos tiene una respuesta única. En el caso 2 , donde el parámetro de cresta es desconocido, hay infinitas soluciones X ω , para ω ∈ [ 0 $\mu\equiv\omega^2$$X_\omega$ . En el caso 1, dondese da ω , hay un número finito de soluciones para X ω , debido a la ambigüedad en el espectro de valores singulares.$\omega\in[0,\omega_\max]$$\omega$$X_\omega$

(La derivación es un poco larga, por lo que TL, DR: hay un código de Matlab que funciona al final).

---

Caso subdeterminado ("OLS")

El problema de avance es donde X ∈ R n × p , B ∈ R p × q e Y ∈ R n × q .

$$\min_B\|XB-Y\|^2$$ $X\in\mathbb{R}^{n\times p}$$B\in\mathbb{R}^{p\times q}$$Y\in\mathbb{R}^{n\times q}$

En base a la pregunta actualizada, asumiremos , por lo que B se determina bajo X e Y determinados . Como en la pregunta, asumiremos la solución "predeterminada" (mínima L2 - forma) B = X $n<p<q$$B$$X$$Y$$L_2$ donde X + es lapseudoinversede X .

$$B=X^+Y$$ $X^+$$X$

A partir de la descomposición de valor singular ( SVD ) de , dada por * X = U S V T = U S 0 V T 0, el pseudoinverso puede calcularse como ** X + = V S + U T = V 0 S - 1 0 U T (* Las primeras expresiones usan la SVD completa, mientras que las segundas usan la SVD reducida. ** Por simplicidad, supongo que X tiene rango completo, es decir, S - 1 0 existe).$X$

$$X=USV^T=US_0V_0^T$$ $$X^+=VS^+U^T=V_0S_0^{-1}U^T$$ $X$$S_0^{-1}$

Entonces, el problema directo tiene solución Para referencia futura, noto que S 0 = d i a g (

$$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$$ , donde σ 0 > 0 es el vector de valores singulares.$S_0=\mathrm{diag}(\sigma_0)$$\sigma_0>0$

En el problema inverso, se nos dan y $Y$$B$ . Sabemos que llegó desde el proceso anterior, pero no sabemos X . La tarea es entonces determinar la X apropiada .$B$$X$$X$

Como se señaló en la pregunta actualizada, en este caso podemos recuperar utilizando esencialmente el mismo enfoque, es decir, X $X$ ahora usando el pseudoinverse de B .

$$X_0=YB^+$$ $B$

---

Caso sobredeterminado (estimador de cresta)

En el caso "OLS", el problema no determinado se resolvió eligiendo la solución de norma mínima , es decir, nuestra solución "única" se regularizó implícitamente .

En lugar de elegir la solución de norma mínima , aquí introducimos un parámetro para controlar "cuán pequeña" debe ser la norma, es decir, usamos la regresión de cresta .$\omega$

$\beta_k$$k=1,\ldots,q$

$$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$$ $$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$$ $$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$$ $$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$$

$$B_\omega = \mathsf{X}^+\mathsf{Y}$$ $$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$$ $$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$$ $p\leq n$$\sigma_\omega$$\sigma_0$

$$X_\omega=YB_\omega^+$$

$$X_\omega=US_\omega^2V_0^T$$ $\sigma_\omega^2$

$\sigma_0$$\sigma_\omega^2$$\omega$

$$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$$

---

$X$$\bar{\sigma}\pm\Delta\sigma$sgn$+$$-$$\omega=0$$+$$\omega$$\omega$$-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

$B$$p$$n$

$\omega$$\omega$

$$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$$

---

For the quadratic-root sign ambiguity, the following code snippet shows that independent of sign, any $\hat{X}$ will give the same forward $B$ ridge-solution, even when $\sigma_0$ differs from $\mathrm{SVD}[X]$.

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not