¿Probar la relación entre la distancia de Mahalanobis y el apalancamiento?

He visto fórmulas en Wikipedia. que relacionan la distancia y el apalancamiento de Mahalanobis:

La distancia de Mahalanobis está estrechamente relacionada con la estadística de apalancamiento, , pero tiene una escala diferente:$h$

$$D^2 = (N - 1)(h - \tfrac{1}{N}).$$

En un artículo vinculado , Wikipedia describe en estos términos:$h$

En el modelo de regresión lineal, la puntuación de apalancamiento para la unidad de datos se define como: el elemento diagonal de la matriz de sombreros , donde denota la transposición de la matriz.$i^{th}$

$$h_{ii}=(H)_{ii},$$ $i^{th}$$H=X(X^{\top}X)^{-1}X^{\top}$⊤$^{\top}$

No puedo encontrar una prueba en ningún lado. Traté de comenzar con las definiciones pero no puedo hacer ningún progreso. ¿Alguien puede dar alguna pista?

¿Mi descripción de la distancia de Mahalanobis en la explicación de abajo a arriba de la distancia de Mahalanobis? incluye dos resultados clave:

1. Por definición, no cambia cuando los regresores se desplazan uniformemente.

2. La distancia al cuadrado de Mahalanobis entre los vectores e viene dada por donde es la covarianza de los datos.$x$$y$

   $$D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$$ $\Sigma$

(1) nos permite asumir que los medios de los regresores son todos cero. Queda por calcular . Sin embargo, para que la afirmación sea cierta, necesitamos agregar una suposición más:$h_i$

El modelo debe incluir una intercepción.

Teniendo esto en cuenta, deje que haya regresores datos, escribiendo el valor del regresor para la observación como . Deje el vector columna de estos valores para regresor escribirse y el vector fila de estos valores para la observación escribirse . Entonces la matriz modelo es$k \ge 0$$n$$j$$i$$x_{ij}$$n$$j$$\mathbf{x}_{,j}$$k$$i$$\mathbf{x}_i$

$$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$$

y, por definición, la matriz del sombrero es

$$H = X(X^\prime X)^{-1} X^\prime,$$

de donde la entrada a lo largo de la diagonal es$i$

$$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$$

No tiene nada más que resolver esa matriz inversa inversa, pero en virtud del primer resultado clave, es fácil, especialmente cuando lo escribimos en forma de matriz de bloque:

$$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$$

donde y$\mathbf{0} = (0,0,\ldots,0)^\prime$

$$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$$

(He escrito para la matriz de covarianza de muestra de los regresores). Debido a que esta es una diagonal de bloque, su inverso se puede encontrar simplemente invirtiendo los bloques:$\Sigma$

$$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$$

De la definición obtenemos$(1)$

$$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$$

Resolviendo para la longitud cuadrada de Mahalanobis produce$D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

$$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$$

QED .

Mirando hacia atrás, es posible distinguir el término aditivo a la presencia de una intercepción, que introdujo la columna de unos en la matriz de modelo . El término multiplicativo apareció después de suponer que la distancia de Mahalanobis se calcularía utilizando la estimación de covarianza de muestra (que divide las sumas de cuadrados y productos por ) en lugar de la matriz de covarianza de los datos (que divide la suma de cuadrados y productos por ).$1/n$$X$$n-1$$n-1$$n$

---

El valor principal de este análisis es el de impartir una interpretación geométrica de la palanca, que mide la cantidad de un cambio unitario en la respuesta a la observación va a cambiar el valor ajustado en el que la observación: observaciones de gran influencia son a grandes distancias de Mahalanobis desde el centroide de los regresores, exactamente como una palanca mecánicamente eficiente opera a una gran distancia de su punto de apoyo.$i$

---

Código R para mostrar que la relación tiene:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))