¿Qué significa lineal en regresión lineal?

11

En R, si escribo

lm(a ~ b + c + b*c)

¿Sería esto una regresión lineal?

¿Cómo hacer otros tipos de regresión en R? Agradecería cualquier recomendación para libros de texto o tutoriales?

r regression suprvisr
fuente

Traté de reformular un poco tu pregunta. Me temo que parece que estás haciendo dos preguntas muy diferentes. Para el segundo, hay muchos recursos disponibles en este sitio, pero también en CRAN .

chl

@chl, sí, gracias, no estaba claro. Mi pregunta es realmente esta: si escribo LM en R, ¿R lo entiende como lineal siempre o intenta ajustar cualquier modelo, no necesariamente una regresión lineal sino alguna regresión?

suprvisr el

No, lm()representa una regresión lineal. Su modelo incluye tres parámetros (menos la intercepción) para b, cy su interacción b:c, que significa b + c + b:co b*cpara abreviar (R sigue la notación de Wilkinson para modelos estadísticos). Se solicita ajustar un modelo lineal generalizado (es decir, cuando la función de enlace no es identidad, como es el caso del modelo lineal expresado anteriormente) glm().

chl

24

Lineal se refiere a la relación entre los parámetros que está estimando (por ejemplo, ) y el resultado (por ejemplo, ). Por lo tanto, es lineal, pero no lo es. Un medio modelo lineal que su estimación de su vector de parámetros se puede escribir , donde el $\beta$ $y_i$ $y=e^x\beta+\epsilon$ $y=e^\beta x + \epsilon$ $\hat{\beta} = \sum_i{w_iy_i}$ $\{w_i\}$ son pesos determinados por su procedimiento de estimación. Los modelos lineales pueden resolverse algebraicamente en forma cerrada, mientras que muchos modelos no lineales deben resolverse mediante maximización numérica usando una computadora.

Charlie
fuente

66

+1 Específicamente, en un "modelo lineal" la variable dependiente

es una función lineal de los parámetros pero no necesariamente de los datos.

y

$y$

whuber

¿El primero es lineal? de verdad, ¿el del poder de x?

suprvisr el

2

Sí, porque

no es la cantidad de interés (para la que optimiza) sino que

es. Por lo tanto, es lineal en

.

x

$x$

β

$\beta$

β

$\beta$

bayerj 01 de

+1, pero esta respuesta podría mejorarse comentando la fórmula en la pregunta.

naught101

1

Noto, en una segunda lectura, que la segunda mitad de esta respuesta confunde "modelo lineal" con "estimador lineal". Los dos conceptos son separados y diferentes. Los modelos no lineales a menudo tienen estimadores lineales y los modelos lineales pueden tener estimadores no lineales (considere GLM, por ejemplo).

whuber

5

Esta publicación en minitab.com proporciona una explicación muy clara:

Un modelo es lineal cuando se puede escribir en este formato:
- Response = constant + parameter * predictor + ... + parameter * predictor
  - Es decir, cuando cada término (en el modelo) es una constante o el producto de un parámetro y una variable predictora.
- Entonces, ambos son modelos lineales:
  - $Y = B_0 + B_1X_1$
  - $Y = B_0 + B_1X_1^2$
Si el modelo no se puede expresar con el formato anterior, no es lineal.
- Ejemplos de modelos no lineales:
  - $Y = B_0 +$ $X_1^{B_1}$
  - $Y = B_0 \centerdot \cos (B_1 \centerdot X_1)$

Patrick Ng
fuente

4

Tendría cuidado al hacer esto como una pregunta de "regresión lineal R" versus una pregunta de "regresión lineal". Las fórmulas en R tienen reglas que puede o no conocer. Por ejemplo:

http://wiener.math.csi.cuny.edu/st/stRmanual/ModelFormula.html

Suponiendo que está preguntando si la siguiente ecuación es lineal:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * (b*c))

La respuesta es sí, si ensambla una nueva variable independiente como:

newv = b * c

Sustituir la ecuación newv anterior en la ecuación original probablemente se parece a lo que está esperando para una ecuación lineal:

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * newv)

En lo que respecta a las referencias, Google "r regresión", o lo que creas que podría funcionar para usted.

bill_080
fuente

¿Cómo renombrar algo lo hace lineal? No entiendo, si la identidad newv = b * c tiene, no es lineal en absoluto. Estoy confundido.

bayerj

@bayer: newv es una nueva variable. La nueva ecuación es una función lineal de tres variables (b, c, newv), donde los coeficientes proporcionan una relación lineal. Ninguna de las ecuaciones es una combinación lineal de solo dos variables.

bill_080

@bayer Ver la respuesta de @Charlie. En el presente ejemplo, ambos modelos son lineales (ya sea que R los vea como tales o no) porque en ambos aes una función lineal de los cuatro coeficientes.

whuber

gracias, tiene sentido ... ¿puedo simplemente agregar una nueva variable neww siendo b * c para cada caso en la base de datos (médica) y luego tratarla como una regresión lineal?

suprvisr el

2

Puede escribir la regresión lineal como una ecuación matricial (lineal).

$\left[ \matrix{a_1 \\a_2 \\a_3 \\a_4 \\a_5 \\ ... \\ a_n} \right] = \left[ \matrix{b_1 & c_1 & b_1*c_1 \\ b_2 & c_2 & b_2*c_2 \\b_3 & c_3 & b_3*c_3 \\b_4 & c_4 & b_4*c_4 \\b_5 & c_5 & b_5*c_5 \\ &...& \\ b_n & c_n & b_n*c_n } \right] \times \left[\matrix{\alpha_b & \alpha_c & \alpha_{b*c}} \right] + \left[ \matrix{\epsilon_1 \\\epsilon_2 \\\epsilon_3 \\\epsilon_4 \\\epsilon_5 \\ ... \\ \epsilon_n} \right]$

o si colapsas esto:

$\mathbf{a} = \alpha_b \mathbf{b} + \alpha_c \mathbf{c} + \alpha_{b*c} \mathbf{b*c} + \mathbf{\epsilon}$

$\mathbf{b}$ $\mathbf{c}$ $\mathbf{b*c}$ $\mathbf{a}$

$\mathbf{a}$ $\mathbf{b}$ $\mathbf{c}$ $\mathbf{b*c}$

$y=a e^{ct} + b e^{dt}$ $y=u(e^{c(t-v)}+e^{d(t-v)})$ $a$ $b$

Sexto empírico
fuente

Siento que esta es la mejor respuesta, porque responde a la pregunta ¿Por qué en lugar de solo qué? Responder con "Qué" no conduce a una mejor intuición.

Hexatónico

¿Qué significa lineal en regresión lineal?

Respuestas: