Comprender la creación de variables ficticias (manuales o automatizadas) en GLM

Si se usa una variable de factor (por ejemplo, género con los niveles M y F) en la fórmula glm, se crean variables ficticias, y se pueden encontrar en el resumen del modelo glm junto con sus coeficientes asociados (por ejemplo, genderM)

Si, en lugar de confiar en R para dividir el factor de esta manera, el factor se codifica en una serie de variables numéricas 0/1 (por ejemplo, genderM (1 para M, 0 para F), genderF (1 para F, 0 para M) y estas variables se usan como variables numéricas en la fórmula glm, ¿el resultado del coeficiente sería diferente?

Básicamente, la pregunta es: ¿utiliza R un cálculo de coeficiente diferente cuando trabaja con variables de factores versus variables numéricas?

Pregunta de seguimiento (posiblemente respondida por lo anterior): además de la eficiencia de dejar que R cree variables ficticias, ¿hay algún problema con la codificación de factores como una serie de variables numéricas 0,1 y con el uso de las del modelo?

Las variables categóricas (llamadas " factores " en R) deben representarse mediante códigos numéricos en modelos de regresión múltiple. Hay muchas maneras posibles de construir códigos numéricos de manera apropiada (vea esta gran lista en el sitio de ayuda de estadísticas de UCLA). De manera predeterminada, R usa la codificación de nivel de referencia (que R llama "contr.treatment"), y que es prácticamente la estadística predeterminada. Esto se puede cambiar para todos los contrastes para toda su sesión de R usando las opciones? O para análisis / variables específicas usando ? Contrastes o ? C (tenga en cuenta el capital). Si necesita más información sobre la codificación del nivel de referencia, lo explico aquí: Regresión basada, por ejemplo, en los días de la semana..

Algunas personas encuentran confusa la codificación de nivel de referencia, y no tiene que usarla. Si lo desea, puede tener dos variables para hombre y mujer; esto se llama nivel significa codificación. Sin embargo, si hace eso, tendrá que suprimir la intersección o la matriz del modelo será singular y la regresión no puede ajustarse como @Affine observa arriba y como explico aquí: la codificación de variables cualitativas conduce a singularidades . Para suprimir la intersección, modifique su fórmula agregando -1o +0como así: y~... -1o y~... +0.

El uso de nivel significa codificación en lugar de codificación de nivel de referencia cambiará los coeficientes estimados y el significado de las pruebas de hipótesis que se imprimen con su salida. Cuando tiene un factor de dos niveles (p. Ej., Masculino frente a femenino) y utiliza una codificación de nivel de referencia, verá la intercepción llamada (constant)y solo una variable listada en la salida (tal vez sexM). La intersección es la media del grupo de referencia (quizás las mujeres) y sexMes la diferencia entre la media de los hombres y la media de las mujeres. El valor p asociado con la intersección es una prueba una muestra de si el nivel de referencia tiene una media de y el valor p asociado con$t$$0$sexMle dice si los sexos difieren en su respuesta. Pero si utiliza la codificación de nivel significa, tendrá dos variables enumeradas y cada valor p corresponderá a una prueba una muestra de si la media de ese nivel es . Es decir, ninguno de los valores p será una prueba de si los sexos difieren. $t$$0$

set.seed(1)
y    = c(    rnorm(30), rnorm(30, mean=1)         )
sex  = rep(c("Female",  "Male"          ), each=30)
fem  = ifelse(sex=="Female", 1, 0)
male = ifelse(sex=="Male", 1, 0)

ref.level.coding.model   = lm(y~sex)
level.means.coding.model = lm(y~fem+male+0)

summary(ref.level.coding.model)
# ...
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)  0.08246    0.15740   0.524    0.602    
# sexMale      1.05032    0.22260   4.718 1.54e-05 ***
#   ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# ...
summary(level.means.coding.model)
# ...
# Coefficients:
#      Estimate Std. Error t value Pr(>|t|)    
# fem   0.08246    0.15740   0.524    0.602    
# male  1.13277    0.15740   7.197 1.37e-09 ***
#   ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# ...

Los coeficientes estimados serían los mismos sujetos a la condición en la que crea sus variables ficticias (es decir, las numéricas) consistentes con R. Por ejemplo: creemos datos falsos y ajustemos un factor de uso de Poisson glm. Tenga en cuenta que la glfunción crea una variable de factor.

> counts <- c(18,17,15,20,10,20,25,13,12)
> outcome <- gl(3,1,9)
> outcome
[1] 1 2 3 1 2 3 1 2 3
Levels: 1 2 3
> class(outcome)
[1] "factor"
> glm.1<- glm(counts ~ outcome, family = poisson())
> summary(glm.1)

Call:
glm(formula = counts ~ outcome, family = poisson())

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9666  -0.6713  -0.1696   0.8471   1.0494  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)   3.0445     0.1260  24.165   <2e-16 ***
outcome2     -0.4543     0.2022  -2.247   0.0246 *  
outcome3     -0.2930     0.1927  -1.520   0.1285    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for poisson family taken to be 1)

    Null deviance: 10.5814  on 8  degrees of freedom
Residual deviance:  5.1291  on 6  degrees of freedom
AIC: 52.761

Number of Fisher Scoring iterations: 4

Como el resultado tiene tres niveles, creo dos variables ficticias (ficticio.1 = 0 si el resultado = 2 y ficticio.2 = 1 si el resultado = 3) y lo reacondiciono usando estos valores numéricos:

> dummy.1=rep(0,9)
> dummy.2=rep(0,9)
> dummy.1[outcome==2]=1
> dummy.2[outcome==3]=1
> glm.2<- glm(counts ~ dummy.1+dummy.2, family = poisson())
> summary(glm.2)

Call:
glm(formula = counts ~ dummy.1 + dummy.2, family = poisson())

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9666  -0.6713  -0.1696   0.8471   1.0494  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)   3.0445     0.1260  24.165   <2e-16 ***
dummy.1      -0.4543     0.2022  -2.247   0.0246 *  
dummy.2      -0.2930     0.1927  -1.520   0.1285    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for poisson family taken to be 1)

    Null deviance: 10.5814  on 8  degrees of freedom
Residual deviance:  5.1291  on 6  degrees of freedom
AIC: 52.761

Number of Fisher Scoring iterations: 4

Como puede ver, los coeficientes estimados son los mismos. Pero debe tener cuidado al crear sus variables ficticias si desea obtener el mismo resultado. Por ejemplo, si creo dos variables ficticias como (ficticio.1 = 0 si resultado = 1 y ficticio.2 = 1 si resultado = 2), los resultados estimados son diferentes de la siguiente manera:

> dummy.1=rep(0,9)
> dummy.2=rep(0,9)
> dummy.1[outcome==1]=1
> dummy.2[outcome==2]=1
> glm.3<- glm(counts ~ dummy.1+dummy.2, family = poisson())
> summary(glm.3)

Call:
glm(formula = counts ~ dummy.1 + dummy.2, family = poisson())

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9666  -0.6713  -0.1696   0.8471   1.0494  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)   2.7515     0.1459   18.86   <2e-16 ***
dummy.1       0.2930     0.1927    1.52    0.128    
dummy.2      -0.1613     0.2151   -0.75    0.453    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for poisson family taken to be 1)

    Null deviance: 10.5814  on 8  degrees of freedom
Residual deviance:  5.1291  on 6  degrees of freedom
AIC: 52.761

Number of Fisher Scoring iterations: 4

Esto se debe a que cuando agrega outcomevariables en glm.1, R por defecto crea dos variables ficticias, a saber, outcome2y outcome3y las define de manera similar a dummy.1y dummy.2en glm.2, es decir, el primer nivel de resultado es cuando todas las demás variables ficticias ( outcome2y outcome3) están configuradas para ser cero.