¿Cómo calcular el parámetro de regularización en la regresión de crestas dados los grados de libertad y la matriz de entrada?

Sea A una matriz de variables independientes y B sea la matriz de los valores dependientes. En la regresión Ridge, definimos un parámetro de modo que: . Ahora deje que [usv] = svd (A) y entrada diagonal de 's'. definimos grados de libertad (df) = . La regresión de cresta reduce los coeficientes de los componentes de baja varianza y, por lo tanto, el parámetro controla los grados de libertad. Entonces, para$n \times p$$n \times 1$$\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$, que es el caso de la regresión normal, df = n, y por lo tanto, se considerarán todas las variables independientes. El problema al que me enfrento es encontrar el valor de dado 'df' y la matriz 's'. Intenté reorganizar la ecuación anterior pero no obtuve una solución de forma cerrada. Proporcione sugerencias útiles.$\lambda$

Un algoritmo de Newton-Raphson / puntuación de Fisher / serie Taylor sería adecuado para esto.

Tienes la ecuación para resolver con derivada Entonces obtienes: $\lambda$

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

reorganizando se obtiene: Esto configura la búsqueda iterativa. Para los valores iniciales iniciales, suponga en la sumatoria, luego obtendrá .$\lambda$

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

Esto "va" en la dirección correcta (aumenta cuando la suma es demasiado grande, disminuye cuando es demasiado pequeña), y típicamente solo toma unas pocas iteraciones para resolver. Además, la función es monotónica (un aumento / disminución en siempre disminuirá / aumentará la suma), de modo que convergerá de manera única (sin máximos locales).$\lambda$$\lambda$

Aquí está el pequeño código de Matlab basado en la fórmula probada por probabilistico:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end