Regresión lineal con ruido de disparo.

Estoy buscando la terminología estadística correcta para describir el siguiente problema.

Quiero caracterizar un dispositivo electrónico que tenga una respuesta lineal

$Y = \beta_0 + \beta_1 X + \epsilon$

dónde $\epsilon \sim N(0,\sigma^2_{ro})$ es un término debido al ruido de lectura del dispositivo. Para determinar $\beta_0, \beta_1, \sigma^2_{ro}$ Mediría una serie de respuestas $\{X_i,Y_i\}$ y aplique la caja de herramientas de regresión lineal estándar. Pero no sé qué demonios $X_i$ son exactamente, porque uso una fuente que se ve afectada por el ruido de disparo. Es decir, sé que si configuro el dial en la fuente a un cierto valor $J_i$ entonces $X_i \sim N(\mu, \mu)$ (un gaussiano con promedio $\mu$ y varianza $\mu$ )

Esto parece un modelo de regresión lineal de errores en variables ( http://en.wikipedia.org/wiki/Errors-in-variables_models ), donde no por el hecho de que para caracterizar mi dispositivo en todo su rango de entrada , durante las mediciones tengo que cambiar el valor de $J_i$ , y ahora la varianza de la $X_i$ no es fijo, pero depende de $X_i$ (a través de J_i), aunque debido al ruido de disparo si $X_i=X_j$ Esto no significa que la varianza de $X_i$ es lo mismo que la varianza de $X_j$ .

¿Cómo se llama este modelo? ¿Hay artículos en los que pueda descubrir que se aborda este problema? ¿O estoy formulando de manera incorrecta?

regression maximum-likelihood heteroscedasticity errors-in-variables GVstats
fuente

Var (Xi) = μ = E (Xi)> 0. Si esto se solucionara, esto sería un error en el modelo de variables con relación de varianza

^{2}

$^2$

_{r} o

$_ro$ / μ. No es porque μ cambie con el Xi. He visto modelos con varianza no constante en Y y modelos con errores en variables pero no este tipo de modelo que tiene errores en variables con varianza no constante. Cuando la varianza en Y no es constante, a veces es posible modelar la varianza en función del valor de la covariable x. Tal vez se podría hacer algo así por el error en X.

Michael R. Chernick

Respuestas:

El modelo de probabilidad para tal ruido de disparo es

X \sim Poisson (μ), Y | X \sim Normal (β_{0} + β_{1} X, σ^{2}) .

$X \sim \text{Poisson}(\mu),\quad Y|X \sim \text{Normal}(\beta_0+\beta_1 X, \sigma^2).$

Una buena estimación de $\mu$ es la media de $X$ y una buena estimación de $(\beta_0, \beta_1)$ se proporciona por mínimos cuadrados ordinarios, porque los valores de $Y$ se supone independiente, idénticamente distribuido y normal.

La estimación de $\sigma^2$ dado por OLS es inapropiado aquí, sin embargo, debido a la aleatoriedad de $X$ . La estimación de máxima verosimilitud es

s^{2} = \frac{S_{x y}^{2} - 2 S_{x} S_{y} S_{x y} + S_{x x} (S_{y}^{2} - S_{y y}) + S_{x}^{2} S_{y y}}{S_{x}^{2} - S_{x x}} .

$s^2 = \frac{S_{xy}^2 - 2 S_x S_y S_{xy} + S_{xx}\left(S_y^2 - S_{yy}\right) + S_x^2 S_{yy}}{S_x^2 - S_{xx}}.$

En esta notación, $S_x$ es la media $X$ valor, $S_{xy}$ es la media de los productos de la $X$ y $Y$ valores, etc.

Podemos esperar que los errores estándar de estimación en los dos enfoques (OLS, que no es del todo correcto, y MLE como se describe aquí) difieran . Hay varias formas de obtener errores estándar de ML: consulte una referencia. Porque la probabilidad de registro es relativamente simple (especialmente cuando el Poisson $(\mu)$ la distribución es aproximada por una Normal $(\mu,\mu)$ distribución para grandes $\mu$ ), estos errores estándar se pueden calcular en forma cerrada si se desea.

Como ejemplo trabajado, generé $12$ $X$ valores de un Poisson $(100)$ distribución:

94,99,106,87,91,101,90,102,93,110,97,123

Luego, estableciendo $\beta_0=3$ , $\beta_1=1/2$ y $\sigma=1$ Genere $12$ correspondiente $Y$ valores:

47.4662,53.5622,54.6656,45.3592,49.0347,53.8803,48.3437,54.2255,48.4506,58.6761,50.7423,63.9922

El significado $X$ valor es igual $99.4167$ , la estimación de $\mu$ . Los resultados de OLS (que son idénticos al MLE de los coeficientes) estiman $\beta_0$ como $1.24$ y $\beta_1$ como $0.514271$ . No es de extrañar la estimación de la intercepción, $\beta_0$ , parte de su verdadero valor de $3$ porque estos $X$ los valores permanecen lejos del origen. La estimación de la pendiente, $\beta_1$ , está cerca del verdadero valor de $0.5$ .

La estimación de MCO de $\sigma^2$ , sin embargo, es $0.715$ , menor que el verdadero valor de $1$ . El MLE de $\sigma^2$ funciona para $0.999351$ . (Es un accidente que ambas estimaciones sean bajas y que el MLE sea mayor que la estimación OLS).

Figura

La línea es tanto el ajuste de MCO como la estimación de máxima verosimilitud para el modelo de probabilidad conjunta de Poisson-Normal.

whuber
fuente