¿Cómo saber la diferencia entre los modelos de regresión lineal y no lineal?

Estaba leyendo el siguiente enlace sobre regresión no lineal SAS no lineal . Mi comprensión al leer la primera sección "Regresión no lineal versus regresión lineal" fue que la siguiente ecuación es en realidad una regresión lineal, ¿es eso correcto? Si es así, ¿por qué?

$$y = b_1x^3 + b_2x^2 + b_3x + c$$

¿También debo entender que en la regresión no lineal la multicolinealidad no es un problema? Sé que la multicolinealidad puede ser un problema en la regresión lineal, así que seguramente si el modelo anterior es de hecho una regresión lineal, ¿habría multicolinealidad?

Hay (al menos) tres sentidos en los que una regresión puede considerarse "lineal". Para distinguirlos, comencemos con un modelo de regresión extremadamente general.

$$Y = f(X,\theta,\varepsilon).$$

Para mantener la discusión simple, tome las variables independientes como fijas y medidas con precisión (en lugar de variables aleatorias). Modelan n observaciones de p atributos de cada uno, dando lugar a la n -vector de respuestas Y . Convencionalmente, X se representa como una matriz n × p e Y como una columna n- vector. El ( vector q finito ) θ comprende los parámetros . ε es una variable aleatoria con valor vectorial. Generalmente tiene $X$$n$$p$$n$$Y$$X$$n\times p$$Y$$n$$q$$\theta$$\varepsilon$$n$componentes, pero a veces tiene menos. La función tiene un valor vectorial (con n componentes para que coincidan con Y ) y generalmente se asume que es continua en sus dos últimos argumentos ( θ y ε ).$f$$n$$Y$$\theta$$\varepsilon$

El ejemplo arquetípico , de ajustar una línea a datos , es el caso donde X es un vector de números ( x i$(x,y)$$X$ --los valores de x; Y es un vector paralelo de n números ( y i ) ; θ = ( α , β ) da la intersección α y la pendiente β ; y ε = ( ε 1 , ε 2 , ... , ε n$(x_i,\,i=1,2,\ldots,n)$$Y$$n$$(y_i)$$\theta = (\alpha,\beta)$$\alpha$$\beta$$\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$es un vector de "errores aleatorios" cuyos componentes son independientes (y generalmente se supone que tienen distribuciones idénticas pero desconocidas de la media cero). En la notación anterior,

$$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$$

con .$\theta = (\alpha,\beta)$

La función de regresión puede ser lineal en cualquiera (o en todos) de sus tres argumentos:

• "Regresión lineal, o un" modelo lineal ", generalmente significa que es lineal en función de los parámetros θ . El significado SAS de" regresión no lineal " es en este sentido, con el supuesto agregado de que f es diferenciable en su segundo argumento (los parámetros). Este supuesto facilita la búsqueda de soluciones.$f$ $\theta$$f$

• A "relación lineal entre y Y " significa f es lineal como una función de X .$X$$Y$$f$$X$

• Un modelo tiene errores aditivos cuando es lineal en ε . En tales casos, siempre se supone que E ( ε ) = 0 . (De lo contrario, no sería correcto pensar en ε como "errores" o "desviaciones" de los valores "correctos").$f$$\varepsilon$$\mathbb{E}(\varepsilon) = 0$$\varepsilon$

Toda combinación posible de estas características puede suceder y es útil. Examinemos las posibilidades.

1. Un modelo lineal de una relación lineal con errores aditivos. Esta es una regresión ordinaria (múltiple), ya mostrada arriba y más generalmente escrita como

   $$Y = X\theta + \varepsilon.$$

   se ha aumentado, si es necesario, junto a una columna de constantes, y θ es unvector p .$X$$\theta$$p$

2. Un modelo lineal de una relación no lineal con errores aditivos. Esto puede expresarse como una regresión múltiple al aumentar las columnas de con funciones no lineales de X en sí. Por ejemplo,$X$$X$

   $$y_i = \alpha + \beta x_i^2 + \varepsilon$$

   es de esta forma Es lineal en ; tiene errores aditivos; y es lineal en los valores ( 1 , x 2 i ) aunque x 2 i es una función no lineal de x i .$\theta=(\alpha,\beta)$$(1,x_i^2)$$x_i^2$$x_i$

3. Un modelo lineal de una relación lineal con errores no aditivos. Un ejemplo es el error multiplicativo,

   $$y_i = (\alpha + \beta x_i)\varepsilon_i.$$

   (En tales casos, puede interpretarse como "errores multiplicativos" cuando la ubicación de ε i es 1. Sin embargo, el sentido adecuado de ubicación ya no es necesariamente la expectativa E ( ε i ) : podría ser la mediana o la media geométrica, por ejemplo. También se aplica un comentario similar sobre los supuestos de ubicación, mutatis mutandis , en todos los demás contextos de error no aditivo).$\varepsilon_i$$\varepsilon_i$$1$$\mathbb{E}(\varepsilon_i)$

4. Un modelo lineal de una relación no lineal con errores no aditivos. Por ejemplo ,

   $$y_i = (\alpha + \beta x_i^2)\varepsilon_i.$$

5. Un modelo no lineal de una relación lineal con errores aditivos. Un modelo no lineal implica combinaciones de sus parámetros que no solo son no lineales, sino que ni siquiera se pueden linealizar al volver a expresar los parámetros.

   • Como un no ejemplo, considere

     $$y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$$

     Al definir y β ′ = β 2 , y restringir β ′ ≥ 0 , este modelo puede reescribirse$\alpha^\prime = \alpha\beta$$\beta^\prime=\beta^2$$\beta^\prime \ge 0$

     $$y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$$

     exhibiéndolo como un modelo lineal (de una relación lineal con errores aditivos).

   • Como ejemplo, considere

     $$y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$$

     Es imposible encontrar un nuevo parámetro , dependiendo de α , que linealice esto en función de α ' (mientras lo mantiene lineal en x i también).$\alpha^\prime$$\alpha$$\alpha^\prime$$x_i$

6. Un modelo no lineal de una relación no lineal con errores aditivos.

   $$y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$$

7. Un modelo no lineal de una relación lineal con errores no aditivos.

   $$y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$$

8. Un modelo no lineal de una relación no lineal con errores no aditivos.

   $$y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$$

---

Aunque estos exhiben ocho formas distintas de regresión, no constituyen un sistema de clasificación porque algunas formas pueden convertirse en otras. Un ejemplo estándar es la conversión de un modelo lineal con errores no aditivos (se supone que tiene soporte positivo)

$$y_i = (\alpha + \beta x_i)\varepsilon_i$$

$$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$$

Here, the log geometric mean $\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ has been removed from the error terms (to ensure they have zero means, as required) and incorporated into the other terms (where its value will need to be estimated). Indeed, one major reason to re-express the dependent variable $Y$ is to create a model with additive errors. Re-expression can also linearize $Y$ as a function of either (or both) of the parameters and explanatory variables.

---

Collinearity

Collinearity (of the column vectors in $X$) can be an issue in any form of regression. The key to understanding this is to recognize that collinearity leads to difficulties in estimating the parameters. Abstractly and quite generally, compare two models $Y = f(X,\theta,\varepsilon)$ and $Y=f(X^\prime,\theta,\varepsilon^\prime)$ where $X^\prime$ is $X$ with one column slightly changed. If this induces enormous changes in the estimates $\hat\theta$ and $\hat\theta^\prime$, then obviously we have a problem. One way in which this problem can arise is in a linear model, linear in $X$ (that is, types (1) or (5) above), where the components of $\theta$ are in one-to-one correspondence with the columns of $X$. When one column is a non-trivial linear combination of the others, the estimate of its corresponding parameter can be any real number at all. That is an extreme example of such sensitivity.

From this point of view it should be clear that collinearity is a potential problem for linear models of nonlinear relationships (regardless of the additivity of the errors) and that this generalized concept of collinearity is potentially a problem in any regression model. When you have redundant variables, you will have problems identifying some parameters.

You should start right now by making a difference between reality and the model you're using to describe it

The equation you just mentionned is a polynomial equation (x^power) ie. non-linear ... but you can still model it using a generlized linear model (using a link function) or polynomail regression since the parameters are linear (b1, b2, b3, c)

hope that helped, it actually is a bit sketchy : reality/model

A model is linear if it is linear in parameters or can be transformed to be linear in parameters (linearizable). Linear models can model linear or non-linear relationships. Let's expand on each of these.

A model is linear in parameters if it can be written as the sum of terms, where each term is either a constant or a parameter multiplying a predictor (X_i):

Note that this definition is very narrow. Only the models meeting this definition are linear. Every other model, is non-linear.

There are a two types of linear models that are confused for non-linear models:

1. Linear models of non-linear relationships

For example, the model below models a non-linear relationship (because the derivative of Y with respect to X₁ is a function of X₁). By creating a new variable W₁=X₁², and re-writing the equation with W₁ replacing X₁², we have an equation that satisfies the definition of a linear model.

2. Models that aren't immediately linear but can become linear after a transformation (linearizable). Below are 2 examples of linearizable models:

Example 1:

This model may appear to be non-linear because it does not meet the definition of a model that is linear in parameters, however it can be transformed into a linear model hence it is linearizable/transformably linear, and is thus considered to be a linear model. The following transformations would linearize it. Start by taking the natural logarithm of both sides to obtain:

then make the following substitutions:

to obtain the linear model below:

Example 2:

This model may appear to be non-linear because it does not meet the definition of a model that is linear in parameters, however it can be transformed into a linear model hence it is linearizable/transformably linear, and is thus considered to be a linear model. The following transformations would linearize it. Start by taking the reciprocal of both sides to obtain:

then make the following substitutions:

to obtain the linear model below:

Any model that is not linear (not even through linearization) is non-linear. Think of it this way: If a model does not meet the definition of a linear model then it is a non-linear model, unless it can be proven to be linearizable, at which point it earns the right to be called a linear model.

Whuber's answer above as well as the Glen_b's answer in this link will add more color to my answer. Nonlinear vs. generalized linear model: How do you refer to logistic, Poisson, etc. regression?