Regresión lineal cuando solo conoces

Supongamos . $X\beta =Y$

No sabemos exactamente, sólo su correlación con cada predictor, . $Y$ $X^\mathrm{t}Y$

La solución de mínimos cuadrados ordinarios (OLS) es y no hay ningún problema. $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

Pero supongamos que es casi singular (multicolinealidad), y necesita estimar el parámetro óptimo de cresta. Todos los métodos parece necesitar los valores exactos de . $X^\mathrm{t}X$ $Y$

¿Existe algún método alternativo cuando solo se conoce ? $X^\mathrm{t}Y$

regression multicollinearity Punta
fuente

interesante pregunta. Quizás algún tipo de algoritmo EM funcionaría ...

probabilidadislogic

No entiendo, ¿no puedes usar la validación cruzada para estimar el parámetro de cresta óptimo?

Pardis

@Pardis: en la pregunta no se incluye la función de pérdida, por lo que no sabemos qué significa óptimo . ¿Puedes ver el problema con el que nos encontramos si la función de pérdida es el MSE?

cardenal

@ JohnSmith: Estás aludiendo al punto en el que conducía. No hay indicios de cómo medir la "óptima". Lo que está haciendo efectivamente es introducir una métrica diferente (función de distancia) para medir la "calidad" de predicción o ajuste. Sospecho que necesitamos más detalles del OP para llegar muy lejos.

cardenal

@Pardis: Encontrar los estimados no es el problema, como notas. :) Sin embargo, si decide hacer una validación cruzada, ¿cómo va a estimar el MSE fuera de la muestra, es decir, en el pliegue izquierdo para cada iteración? :)

cardenal

Respuestas:

Esta es una pregunta interesante. Sorprendentemente, es posible hacer algo bajo ciertos supuestos, pero existe una posible pérdida de información sobre la varianza residual. Depende de $X$ cuánto se pierde.

Consideremos la siguiente descomposición de valores singulares $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ de $X$ con $U$ una matriz $n \times p$ con columnas ortonormales, $D$ una matriz diagonal con valores singulares positivos $d_1 \geq d_2 \geq ... \geq d_p > 0$ en la diagonal y $V$ a $p \times p$ matriz ortogonal. Luego, las columnas de $U$ forman una base ortonormal para el espacio de columnas de $X$ y

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$ es el vector de coeficientes para la proyección de

Y

$Y$ en este espacio de columna cuando se expande en la base de la columna

U

$U$ De la fórmula vemos que

Z

$Z$ es computable a partir del conocimiento de

X

$X$ y

X^{t} Y

$X\t Y$ solamente.

Dado que el predictor cresta de regresión para un determinado puede calcularse como vemos que los coeficientes para el predictor de regresión de cresta en el $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

base -column son

Ahora hacemos la suposición distributiva de que

tiene unamedia

dimensional

y una matriz de covarianza

. Entonces

tiene

-dimensional media

y matriz de covarianza

. Si imaginamos una

independiente

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ con la misma distribución que

(todo condicionalmente en

partir de aquí) el

correspondiente

tiene la misma distribución que

y es independiente y

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

Aquí la tercera igualdad sigue por la ortogonalidad de

y el cuarto por el hecho de que

tiene columnas ortonormales. La cantidad

es un error sobre el que no podemos obtener información, pero no depende de

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$ ya sea. Para minimizar el error de predicción en el lado izquierdo, tenemos que minimizar el segundo término en el lado derecho.

Por un cálculo estándar Aquíse conoce como los grados efectivos de libertad para la regresión de crestas con el parámetro. Un estimador imparcial dees

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$ Thus if it is possible to choose

λ

$\lambda$ so small that the squared bias can be ignored we can try to estimate

σ^{2}

$\sigma^2$ as

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$ If this will work depends a lot on

X

$X$ .

For some details see Section 3.4.1 and Chapter 7 in ESL or perhaps even better Chapter 2 in GAM.

NRH
fuente

Define $β$ as in the question and $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ for various parameters $\lambda$ and sets $K$ of sample labels. Then $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ is computable since the unknown $\|Y\|^2$ drops out when expanding both norms.

This leads to the following algorithm:

Compute the $e(λ,K)$ for some choices of the training set $K$ .
Plot the results as a function of $\lambda$ .
Accept a value of $\lambda$ where the plot is flattest.
Use $β^*=[X^TX+λI]^{−1}X^TY$ as the final estimate.

Arnold Neumaier
fuente

I'm guessing "where the plot is flattest" will be at

λ

$\lambda$ very small, like roughly 0 :)

jbowman

@jbowman: This will happen only if the problem is well-conditioned and needs no regularization, then

λ = 0

$\lambda=0$ is indeed adequate. In the ill-conditioned case, the prediction of the items outside

K

$K$ will be poor because of overfitting, and

e (λ, K)

$e(\lambda,K)$ will therefore be large.

Arnold Neumaier

@ArnoldNeumaier:

(X^{T} Y)_{K}

$(X^TY)_K$ isn't computable. We only know the correlation with each predictor.

(X^{T} Y)

$(X^TY)$ is in the "predictor domain", not in the "Y domain" (If N is the sample size and p the number of predictors, we only have p values, one for each predictor).

Jag

@Jag: Then there is not enough information for selecting

λ

$\lambda$ . But

X^{T} Y

$X^TY$ must have been collected somehow. If during its collection you partition the sample into

k

$k$ batches and assemble the

X^{T} Y

$X^TY$ separately for each batch then one can reserve one batch each for cross validation.

Arnold Neumaier

@ArnoldNeumaier:

X^{T} Y

$X^TY$ are externally given, don't collected.

Jag