Otros estimadores imparciales que el AZUL (solución OLS) para modelos lineales

Para un modelo lineal, la solución OLS proporciona el mejor estimador lineal imparcial para los parámetros.

Por supuesto, podemos cambiar un sesgo por una varianza más baja, por ejemplo, regresión de cresta. Pero mi pregunta es sobre no tener prejuicios. ¿Hay otros estimadores que se usan con cierta frecuencia, que son imparciales pero con una varianza más alta que los parámetros estimados de MCO?

Si tuviera un gran conjunto de datos, podría, por supuesto, submuestrearlo y estimar los parámetros con menos datos, y aumentar la varianza. Supongo que esto podría ser hipotéticamente útil.

Esta es más una pregunta retórica, porque cuando leí sobre estimadores AZUL, no se ofrece una alternativa peor. Supongo que proporcionar peores alternativas también podría ayudar a las personas a comprender mejor el poder de los estimadores AZULES.

Un ejemplo que viene a la mente es un estimador GLS que pondera las observaciones de manera diferente, aunque eso no es necesario cuando se cumplen los supuestos de Gauss-Markov (que el estadístico puede no saber que es el caso y, por lo tanto, aplicar todavía aplicar GLS).

Considere el caso de una regresión de $y_i$ , $i=1,\ldots,n$ en una constante para ilustración (se generaliza fácilmente a estimadores GLS generales). Aquí, $\{y_i\}$se supone que } es una muestra aleatoria de una población con media$\mu$ y varianza$\sigma^2$ .

Entonces, sabemos que OLS es β = ˉ y , la media de la muestra. Para enfatizar el punto de que cada observación se pondera con peso 1 / n , escribir esto como β = n$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ Es bien sabido que$Var(\hat\beta)=\sigma^2/n$.

Ahora, considere otro estimador que se puede escribir como

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ donde los pesos son tales que $\sum_iw_i=1$ . Esto asegura que el estimador sea imparcial, ya que $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ Su variación excederá la de OLS a menos que$w_i=1/n$ para todo$i$ (en cuyo caso, por supuesto, se reducirá a OLS), que por ejemplo se puede mostrar a través de un Lagrangiano:

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ con derivadas parciales wrt$w_i$pusea cero igual a$2\sigma^2w_i-\lambda=0$para todo$i$, y$\partial L/\partial\lambda=0$igual a$\sum_iw_i-1=0$. Resolviendo el primer conjunto de derivados para$\lambda$$w_i=w_j$$w_i=1/n$

Aquí hay una ilustración gráfica de una pequeña simulación, creada con el siguiente código:

$y_i$In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

El hecho de que los tres últimos superen a la solución OLS no está implícito de inmediato por la propiedad AZUL (al menos no para mí), ya que no es obvio si son estimadores lineales (ni sé si el MLE y Huber son imparciales).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)