¿Es la regresión lineal múltiple en 3 dimensiones un plano de mejor ajuste o una línea de mejor ajuste?

Nuestro profesor no está entrando en las matemáticas o incluso en la representación geométrica de la regresión lineal múltiple y esto me tiene un poco confundido.

Por un lado, todavía se llama regresión lineal múltiple , incluso en dimensiones más altas. Por otro lado, si tenemos, por ejemplo, y podemos insertar cualquier valor que para y , ¿no nos daría un plano de posibles soluciones? y no una linea?$\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$$X_1$$X_2$

En general, ¿nuestra superficie de predicción no será un hiperplano dimensional para variables independientes?$k$$k$

Tienes razón, la superficie de la solución será un hiperplano en general. Es solo que la palabra hiperplano es un bocado, el plano es más corto y la línea es aún más corta. A medida que continúas con las matemáticas, el caso unidimensional se discute cada vez más raramente, por lo que la compensación

Big words for high dimensional, Small words for small dimensional

comienza a mirar, bueno, al revés.

Por ejemplo, cuando veo una ecuación como , donde es una matriz son vectores, llamo a esto una ecuación lineal . En una parte anterior de mi vida, llamaría a esto un sistema de ecuaciones lineales , reservando ecuaciones lineales para el caso unidimensional. Pero luego llegué a un punto en el que el caso unidimensional no aparecía muy a menudo, mientras que el caso multidimensional estaba en todas partes.$Ax = b$$A$$x, b$

Esto también sucede con la notación. Alguna vez has visto a alguien escribir

Ese símbolo a la izquierda es el nombre de una función, por lo que para ser formal y pedante, debe escribir

Empeora en las dimensiones múltiples, cuando la derivada toma dos argumentos, uno es donde tomas la derivada y la otra es en qué dirección evalúas la derivada, que parece

pero las personas se vuelven perezosas muy rápidamente y comienzan a abandonar uno u otro argumento, dejándolos entendidos por contexto.

Los matemáticos profesionales, lenguas firmemente en la mejilla, llaman a esto abuso de notación . Hay temas en los que sería esencialmente imposible expresarse sin abusar de la notación, mi querida geometría diferencial es un buen ejemplo. El gran Nicolas Bourbaki expresó el punto con mucha elocuencia.

En la medida de lo posible, hemos llamado la atención en el texto sobre los abusos del lenguaje, sin los cuales cualquier texto matemático corre el riesgo de pedantería, por no decir ilegible.

- Bourbaki (1988)

¡Incluso comentas sobre un abuso de notación en el que caí arriba sin siquiera notarlo yo mismo!

Técnicamente, dado que escribió df / dx como una derivada parcial, aunque las otras variables implícitas se mantendrían como constantes, la derivada parcial no sería técnicamente una función de todas las variables de la función original, como en df / dx ( x, y, ...)?

Tienes toda la razón, y esto da una buena ilustración (no intencional) de lo que estoy haciendo aquí.

Encuentro la derivada en un verdadero sentido de una variable tan raramente en mi trabajo y estudios diarios, que esencialmente he olvidado que es la notación correcta aquí. Tenía la intención de que lo anterior fuera sobre una función de una variable, pero inconscientemente señalé lo contrario por mi uso de .$\frac{d f}{d x}$$\partial$

Supongo que pienso en ello como cuando decimos "suma infinita" en lugar de "el límite de una suma cuando el número de términos se aproxima al infinito". La forma en que pienso es que está bien siempre que la diferencia conceptual sea clara. En este caso (regresión múltiple), no estaba realmente seguro de qué estábamos hablando en primer lugar.

Sí, esa es una manera consistente de pensarlo. La única diferencia real es que allí tenemos una situación tan común que inventamos una notación (*) y terminología adicional ( y "suma infinita") para expresarla. En otros casos, generalizamos un concepto, y luego ese concepto generalizado se vuelve tan omnipresente que reutilizamos la antigua notación o terminología para el concepto generalizado.$\Sigma$

Como gente perezosa, queremos economizar palabras en los casos comunes.

(*) Históricamente, no es así como se desarrollaron sumas infinitas. La definición del límite de sumas parciales se desarrolló a posteriori cuando los matemáticos comenzaron a encontrar situaciones en las que era necesario razonar con mucha precisión.

"Lineal" no significa exactamente lo que crees que hace en este contexto: es un poco más general

En primer lugar, no es realmente una referencia a la linealidad en las x, sino a los parámetros * ("lineal en los parámetros").

En segundo lugar, una función lineal en el sentido del álgebra lineal es esencialmente un mapa lineal; es una función lineal en -space.$E(Y|X) = X\beta$$\beta$

Entonces, un plano (o más generalmente hiperplano) de mejor ajuste sigue siendo "regresión lineal".

* aunque será lineal en las x proporcionadas si considera la columna constante de como parte del vector de coordenadas (o, alternativamente, piense en coordenadas homogéneas con la normalización de la coordenada adicional). O simplemente podría decir que es lineal en y$1$$X\beta$$X$$\beta$