Distribución de errores para regresión lineal y logística.

Con datos continuos, una regresión lineal $Y=\beta_1+\beta_2X_2+u$ supone que el término de error se distribuye N (0, $\sigma^2$ )

1) ¿Asumimos que Var (Y | x) es igualmente ~ N (0, $\sigma^2$ )?

2) ¿Cuál es esta distribución de errores en regresión logística? Cuando los datos están en forma de 1 registro por caso, donde la "Y" es 1 o 0, es el término de error distribuido Bernoulli (es decir, la varianza es p (1-p))) y cuando los datos están en la forma # éxitos de # de ensayos, ¿se supone binomial (es decir, la varianza es np (1-p)), donde p es la probabilidad de que Y sea 1?

logistic generalized-linear-model B_Miner
fuente

No está siendo preciso. La suposición del modelo es que los términos de error son independientes e idénticamente distribuidos con una distribución que es N (0, σ

) y no está relacionada con el COVARIADO. ¿Qué es Var (Y | x)? ¿Estás condicionando en X

= x? ¿Asume el modelo que la covariable es aleatoria de alguna manera o así, suponemos que la covariable está fijada de acuerdo con una matriz de diseño? Creo que es lo último y, por lo tanto, Var (Y | X

= x) está implícito en los supuestos y no es necesario suponerlo.

^{2}

$^2$

_{2}

$_2$

_{2}

$_2$

Michael R. Chernick

@MichaelChernick ¿Por qué el modelo supone que

es fijo? Ciertamente puede darse el caso de que sea fijo, pero también puede ser aleatorio. Nada en la pregunta implica ninguno de los dos para mí.

X_{2}

$X_2$

Peter Flom - Restablece a Monica

@PeterFlom Leí en la pregunta que la regresión lineal con esa distribución de error supuesta significaba OLS que requiere que X

sea fijo y conocido. Si alguien tiene una regresión de Deming (es decir, error en la regresión de variables), se especificará en la pregunta. Mirar la respuesta que Stat dio indica que él también interpretó la pregunta de esa manera.

_{2}

$_2$

Michael R. Chernick

@Michael, suponía una X fija.

B_Miner

Respuestas:

1) Si tiene una distribución normal, es decir, entonces , ya que No es una variable aleatoria. $u$ $N(0,σ^2)$ $Var(Y|X_2)=Var(β_1+β_2X_2)+Var(u)=0+σ^2=σ^2$ $β_1+β_2X_2$

2) En la regresión logística, se supone que los errores siguen una distribución binomial como se menciona aquí . Es mejor escribirlo como , ya que esas probabilidades dependen de , como se hace referencia aquí o en Regresión logística aplicada . $Var(Y_j|X_j)=m_j.E[Y_j|X_j].(1-E[Y_j|X_j])=m_j\pi(X_j).(1-\pi(X_j))$ $X_j$

Stat
fuente

Stat, por lo tanto, es correcto decir que la varianza para el i-ésimo error individual, , es (1- ), que es equivalente a lo que ha mostrado asumiendo que hay más de 1 observación en los datos con la misma covariable patrón (es decir, si no = 1 para todo j)?

e_{i}

$e_i$

p_{i}

$p_i$

p_{i}

$p_i$

m_{j}

$m_j$

B_Miner

Si eso es correcto. Si con , entonces con probabilidad o con probabilidad . Por tanto, tiene una distribución con media y varianza igual a .

Y_{i} = p_{i} + e_{i}

$Y_i=p_i+e_i$

P (Y_{i} = 1) = 1 - P (Y_{i} = 0) = p_{i}

$P(Y_i=1)=1-P(Y_i=0)=p_i$

e_{i} = 1 - p_{i}

$e_i=1-p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=-p_i$

1 - p_{i}

$1-p_i$

e_{i}

$e_i$

0

$0$

p_{i} (1 - p_{i})

$p_i(1-p_i)$

Estadísticas

Un punto adicional aquí, Stat, DEBEMOS asumir que las X son fijas, no aleatorias para Var (Y | X) = Var (e) para los casos de regresión lineal y logística ¿correcto?

B_Miner

NB con probabilidad o con probabilidad no es una distribución binomial para .

e_{i} = 1 - p_{i}

$e_i=1−p_i$

p_{i}

$p_i$

e_{i} = - p_{i}

$e_i=−p_i$

1 - p_{i}

$1−p_i$

e_{i}

$e_i$

Scortchi - Restablece a Monica

B_Miner: significa la varianza de condicional en la variable aleatoria 's tomando un valor observado . Por lo tanto, es irrelevante si sus predictores están fijados por un experimento o si se observan en una muestra: lo que dice @ Stat es que ya no se consideran variables aleatorias a los efectos de la regresión.

Var (Y | X) = Var (Y | X = x)

$\operatorname{Var}(Y|X)=\operatorname{Var}(Y|X=x)$

Y

$Y$

X

$X$

x

$x$

Scortchi - Restablece a Monica