Definición de pesos mínimos cuadrados ponderados: función R lm vs.

9

¿Alguien podría decirme por qué obtengo resultados diferentes de Rmínimos cuadrados ponderados y solución manual por operación de matriz ?

Específicamente, estoy tratando de resolver manualmente , donde es la matriz diagonal en los pesos, es la matriz de datos, es la respuesta vector. W A bWAx=WbWAb

Estoy tratando de comparar los resultados con la R lmfunción usando el weightsargumento.

ingrese la descripción de la imagen aquí

Haitao Du
fuente
Edité etiquetas: esto definitivamente no era [autoestudio]. Tampoco se trata realmente de GLS (sino de un caso muy especial), así que también eliminé ese.
ameba

Respuestas:

13

Como puede ver en las expresiones matemáticas para sus cálculos, está obteniendo

((WA)(WA))1((WA)(Wb))=(AW2A)1(AW2b).

Evidentemente sus pesos son , no . Por lo tanto, debe comparar su respuesta con la salida de WW2W

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446 

El acuerdo es perfecto (dentro del error de coma flotante, internamente, Rutiliza un algoritmo numéricamente más estable).

whuber
fuente
1
Podría decirse que solo estamos hablando de convenciones de software aquí: cuando el software espera "pesos", ¿quiere que le des o ? Pensé que esta era una pregunta valiosa porque el problema podría afectar cualquier paquete estadístico. Independientemente de las convenciones, el breve análisis en esta respuesta sugiere qué interpretaciones alternativas de "pesos" podrían ser razonables y vale la pena experimentar en cualquier circunstancia. W 2WW2
whuber
Sí, creo que es confuso, obtuve la expresión del libro de álgebra lineal de Gilbert Strang Capítulo 8.6, donde dice que el mínimo cuadrado ponderado es solo un ajuste de aW A x = W bAx=bWAx=Wb
Haitao Du
8
Strang tiene razón, pero tiene la orientación pedagógica al revés: comienza con la respuesta en lugar del problema. El problema se refiere a cómo realizar el análogo de un procedimiento de mínimos cuadrados cuando las variaciones de los residuos tienen valores conocidos pero diferentes . Por varias razones teóricas (pero simples), los datos deben ser ponderados por las variaciones inversas (a veces llamadas "precisiones"). De eso se puede deducir que debe ser la raíz cuadrada de los pesos. W
whuber