Expectativa condicional de R-cuadrado

17

Considere el modelo lineal simple:

yy=Xββ+ϵ

donde ϵii.i.d.N(0,σ2) y XRn×p ,p2 yX contiene una columna de constantes.

Mi pregunta es, dado E(XX) , β y σ , ¿hay una fórmula para un límite superior no trivial en E(R2) *? (suponiendo que el modelo fue estimado por OLS).

* Supuse, escribiendo esto, que obtener E(R2) sí mismo no sería posible.

EDITAR1

usando la solución derivada de Stéphane Laurent (ver abajo) podemos obtener un límite superior no trivial en E(R2) . Algunas simulaciones numéricas (a continuación) muestran que este límite es bastante estricto.

Stéphane Laurent dedujo lo siguiente: R2B(p1,np,λ) donde B(p1,np,λ) es una distribución Beta no central con parámetro de no centralidad λ con

λ=||XβE(X)β1n||2σ2

Entonces

E(R2)=E(χp12(λ)χp12(λ)+χnp2)E(χp12(λ))E(χp12(λ))+E(χnp2)

donde es un no central χ 2 con el parámetro λ y k grados de libertad. Entonces, un límite superior no trivial para E ( R 2 ) esχk2(λ)χ2λkE(R2)

λ+p1λ+n1

es muy ajustado (mucho más apretado de lo que esperaba que fuera posible):

por ejemplo, usando:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

la media de sobre 1000 simulaciones es . El límite superior teórico anterior da . El límite parece ser igualmente preciso en muchos valores de RR20.9608190.9609081 . Realmente asombroso!R2

EDIT2:

Después de más investigaciones, parece que la calidad de la aproximación del límite superior a mejorará a medida que aumente λ + p (y todo lo demás igual, λ aumenta con n ).E(R2)λ+pλn

usuario603
fuente
tiene una distribución Beta con parámetros que dependen solo de n y p . No ? R2np
Stéphane Laurent
1
Oooppss lo siento, mi afirmación anterior es cierta solo bajo la hipótesis del "modelo nulo" (solo intercepción). De lo contrario, la distribución de debería ser algo así como una distribución Beta no central, con un parámetro de no centralidad que involucra los parámetros desconocidos. R2
Stéphane Laurent
@ StéphaneLaurent: gracias. ¿Sabrías más sobre la relación entre los parámetros desconocidos y los parámetros de la Beta? Estoy atascado, por lo que cualquier puntero sería bienvenido ...
user603
¿Es absolutamente necesario tratar con ? Quizás haya una fórmula exacta simple para E [ R 2 / ( 1 - R 2 ) ] . E[R2]E[R2/(1R2)]
Stéphane Laurent
1
Con las anotaciones de mi respuesta, para algún escalar k y el primer momento de la distribución F no central es simple. R2/(1R2)=kFkF
Stéphane Laurent

Respuestas:

13

Cualquier modelo lineal puede escribirse donde G tiene la distribución normal estándar en R n y se supone que μ pertenece a un subespacio lineal W de R n . En su caso W = Im ( X ) .Y=μ+σGGRnμWRnW=Im(X)

Sea el subespacio lineal unidimensional generado por el vector ( 1 , 1 , ... , 1 ) . Tomando U = [ 1 ] a continuación, el R 2 está altamente relacionado con el estadístico clásico de Fisher F = P Z Y 2 / ( m - )[1]W(1,1,,1)U=[1]R2 para la prueba de hipótesis deH0:{μU}dondeUWes un subespacio lineal, y denotando por Z=UWel complemento ortogonal deUenW, y denotandom=dim(W)y=dim(U)

F=PZY2/(m)PWY2/(nm),
H0:{μU}UWZ=UWUWm=dim(W)=dim(U) (entonces y= 1 en su situación).m=p=1

De hecho, porque la definición deR2es R2=P Z Y 2

PZY2PWY2=R21R2
R2
R2=PZY2PUY2=1PWY2PUY2.

Obviously PZY=PZμ+σPZG and PWY=σPWG.

When H0:{μU} is true then PZμ=0 and therefore

F=PZG2/(m)PWG2/(nm)Fm,nm
has the Fisher Fm,nm distribution. Consequently, from the classical relation between the Fisher distribution and the Beta distribution, R2B(m,nm).

In the general situation we have to deal with PZY=PZμ+σPZG when PZμ0. In this general case one has PZY2σ2χm2(λ), the noncentral χ2 distribution with m degrees of freedom and noncentrality parameter λ=PZμ2σ2, and then FFm,nm(λ) (noncentral Fisher distribution). This is the classical result used to compute power of F-tests.

The classical relation between the Fisher distribution and the Beta distribution hold in the noncentral situation too. Finally R2 has the noncentral beta distribution with "shape parameters" m and nm and noncentrality parameter λ. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down PZμ. Note that PZ=PWPU. One has PUμ=μ¯1 when U=[1], and PWμ=μ. Hence PZμ=μμ¯1 where here μ=Xβ for the unknown parameters vector β.

Stéphane Laurent
fuente
1
PZx is the orthogoanl projection of x on the linear subspace Z. And P denotes projection on the orthogonal.
Stéphane Laurent
1
Beware of PxPx2. I'm going to edit my post to write the formulas.
Stéphane Laurent
1
Done - do you see any simplification ?
Stéphane Laurent
1
μ¯=1nμi
Stéphane Laurent
1
Type I, obviously: type II are distributed on (0,). Actually R2/(1R2) has the type II distribution. I have done the last corrections for today.
Stéphane Laurent