Regresión lineal versus no lineal

13

Tengo un conjunto de valores x e que están teóricamente relacionados exponencialmente:y

y=axsi

Una forma de obtener los coeficientes es aplicando logaritmos naturales en ambos lados y ajustando un modelo lineal:

> fit <- lm(log(y)~log(x))
> a <- exp(fit$coefficients[1])
> b <- fit$coefficients[2]

Otra forma de obtener esto es usando una regresión no lineal, dado un conjunto teórico de valores iniciales:

> fit <- nls(y~a*x^b, start=c(a=50, b=1.3))

Mis pruebas muestran mejores y más resultados relacionados con la teoría si aplico el segundo algoritmo. Sin embargo, me gustaría saber el significado estadístico y las implicaciones de cada método.

¿Cuál de ellos es mejor?

Iñigo Hernáez Corres
fuente
3
Eche un vistazo a esta publicación que trata una pregunta similar. Este documento también puede ser de interés.
COOLSerdash
55
"exponencial" generalmente implica algo basado en exp(): lo que tiene aquí se llama más comúnmente función de poder, ley de poder o ley de escala. Otros nombres sin duda existen. No hay conexión con el poder en el sentido de la prueba de hipótesis.
Nick Cox

Respuestas:

16

"Mejor" es una función de su modelo.

Parte de la razón de su confusión es que solo escribió la mitad de su modelo.

Cuando dices , eso no es realmente cierto. Su observada yy=axby valores no son iguales a ; Tienen un componente de error.axb

Por ejemplo, los dos modelos que menciona (no son los únicos modelos posibles de ninguna manera) hacen suposiciones completamente diferentes sobre el error.

Probablemente quieras decir algo más cercano a E(Y|X=x)=axb.

Pero entonces, ¿qué decimos sobre la variación de lejos de esa expectativa en una x dada? ¡Importa!Yx

  • Cuando ajusta el modelo de mínimos cuadrados no lineales, está diciendo que los errores son aditivos y que la desviación estándar de los errores es constante en los datos:

    yiN(axib,σ2)

    o equivalente

    , con var ( e i ) =yi=axib+eivar(ei)=σ2

  • por el contrario, cuando toma registros y ajusta un modelo lineal, está diciendo que el error es aditivo en la escala de registro y (en la escala de registro) constante en los datos. Esto significa que en la escala de las observaciones, el término de error es multiplicativo , por lo que los errores son mayores cuando los valores esperados son mayores:

    yilogN(loga+blogxi,σ2)

    o equivalente

    , con η ilogN ( 0 , σ 2 )yi=axibηiηilogN(0,σ2)

    E(η)σ2

(Puede hacer mínimos cuadrados sin suponer distribuciones normales / lognormales, pero el tema central que se discute todavía se aplica ... y si no está cerca de la normalidad, probablemente debería considerar un modelo de error diferente de todos modos)

Entonces, lo mejor depende de qué tipo de modelo de error describa sus circunstancias.

yxx

Glen_b -Reinstate a Monica
fuente
9

Cuando ajusta cualquiera de los modelos, está asumiendo que el conjunto de residuos (discrepancias entre los valores observados y pronosticados de Y) siguen una distribución gaussiana. Si esa suposición es verdadera con sus datos sin procesar (regresión no lineal), entonces no será cierto para los valores transformados logarítmicamente (regresión lineal), y viceversa.

¿Qué modelo es "mejor"? En el que los supuestos del modelo coinciden más estrechamente con los datos.

Harvey Motulsky
fuente