¿Es un tocón de decisión un modelo lineal?

El tocón de decisión es un árbol de decisión con una sola división. También se puede escribir como una función por partes.

Por ejemplo, suponga que es un vector, y es el primer componente de , en la configuración de regresión, se puede usar un tocón de decisión $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

¿Pero es un modelo lineal? donde se puede escribir como ? Esta pregunta puede sonar extraña, porque como se menciona en las respuestas y comentarios, si trazamos la función por partes no es una línea. Consulte la siguiente sección para saber por qué estoy haciendo esta pregunta. $f(x)=\beta^T x$

EDITAR:

La razón por la que hago esta pregunta es que la regresión logística es un modelo lineal (generalizado) y el límite de decisión es una línea, también para el tocón de decisión. Tenga en cuenta que también tenemos esta pregunta: ¿Por qué la regresión logística es un modelo lineal? . Por otro lado, no parece cierto que el tocón de decisión sea un modelo lineal.

Otra razón por la que pregunté esto es por esta pregunta: al impulsar, si el alumno base es un modelo lineal, ¿el modelo final es simplemente un modelo lineal simple? donde, si usamos un modelo lineal como aprendiz base, no obtenemos nada más que regresión lineal. Pero si seleccionamos al alumno base como un tocón de decisión, estamos obteniendo un modelo muy interesante.

Aquí hay un ejemplo de aumento del tocón de decisión en la regresión con 2 características y 1 respuesta continua.

machine-learning cart linear boosting Haitao Du
fuente

¿Por qué lo considerarías lineal ...?

Tim

@ hxd1011 importante para distinguir entre el límite de decisión y la función de decisión aquí

shadowtalker

Podría llamarlo un polinomio de orden 1000 con todas las órdenes de 1 a 1000 igual a cero. Podría llamarlo un modelo de orden cero (también conocido como constante) y comunicaría de manera más sucinta las características clave. Un árbol clásico es constante por partes. El árbol trivial, un tocón, es una división simple en el espacio donde el modelo en un lado es constante y el otro es una constante diferente. No es globalmente constante, pero tampoco es poli1. La biblioteca "cubista" en R se ajusta a los modelos lineales reales (poly1) en lugar de los modelos constantes. Podrías intentar eso.

EngrStudent - Restablecer a Monica

Si dibuja una línea en el plano (digamos y = 0) y toma cualquier función , entonces tendrá líneas de contorno que son líneas reales (paralelas al eje ), pero no será una función lineal.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Matthew Drury el

Esta es una pregunta extraña. ¿Puedes trazar la función de tu ejemplo (que es igual a 3 para x <2 y 5 para x> 2)? Míralo, ¿es una línea recta? Si no es una línea recta, entonces no es una función lineal.

ameba dice Reinstate Monica

Respuestas:

No, a menos que transforme los datos.

Es un modelo lineal si transforma utilizando la función de indicador: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Entonces $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Editar: esto se mencionó en los comentarios, pero quiero enfatizarlo aquí también. Cualquier función que divida los datos en dos partes puede transformarse en un modelo lineal de esta forma, con una intercepción y una sola entrada (un indicador de en qué "lado" de la partición está el punto de datos). Es importante tomar nota de la diferencia entre una función de decisión y un límite de decisión .

Shadowtalker
fuente

"transformar" es complicado, creo que la red neuronal (MLP) no es lineal, pero después de la transformación, es lineal ..

Haitao Du

Se es un modelo lineal en los parámetros. Y es afín lineal en el ficticio .

x^{'}

$x'$

Michael M

@MichaelM ¿cómo es lineal en los parámetros? Supongo que por "parámetros" te refieres a la elección de

x \leq 2

$x \leq 2$

shadowtalker

@ hxd1011 la respuesta es "no, a menos que transforme los datos"

shadowtalker

Le sugiero que edite su respuesta para incluir "no, a menos que transforme los datos" (de su último comentario) en ella. Actualmente sus palabras iniciales son "Es un modelo lineal", y las personas pueden confundirse.

ameba dice Reinstate Monica

Respuestas a sus preguntas:

Un tocón de decisión no es un modelo lineal.
El límite de decisión puede ser una línea, incluso si el modelo no es lineal. La regresión logística es un ejemplo.
El modelo impulsado no tiene que ser el mismo tipo de modelo que el alumno base. Si lo piensa, su ejemplo de impulso, más la pregunta a la que se vinculó, demuestra que el tocón de decisión no es un modelo lineal.

Flounderer
fuente

Esta respuesta es más detallada de lo que se necesita para contestar la pregunta. Espero provocar algunos comentarios de verdaderos expertos.

Una vez estuve en una sala de la corte y el juez preguntó (por una buena razón en contexto), si llamamos a la cola de un perro pata, ¿eso significa que un perro tiene 5 patas? Entonces, ¿qué es un modelo lineal?

En el contexto de las estadísticas, un experto me dijo que un modelo lineal significa un modelo estadístico construido a partir de un conjunto de funciones de la forma con la importante restricción de que el Los términos de error son independientes y normalmente distribuidos. Con esa definición, no se puede decir si su modelo es lineal porque no ha proporcionado información sobre el término de error. Si se cae la restricción del término de error, entonces es tautológicamente lineal en la función que usted da o en la función que da ssdecontrol. Sin embargo, ingenuamente, en el contexto de esta pregunta, eso puede ser insatisfactorio. Cualquier función puede considerarse como la base de un lineal en ese sentido. Esto se debe a que cualquier espacio de funciones puede convertirse en un espacio vectorial de funciones. $f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$

Si está preguntando en la nariz, eso es matemáticamente, si su función es lineal, entonces la respuesta es no. Una función lineal es aquella cuyo gráfico es una línea recta, mientras que claramente su función no tiene esa propiedad. En respuesta a la pregunta que planteas al final, es decir, ¿puedes encontrar para que , entonces no. $\beta$ $f(x) = \beta^{T} x$

Cualquier función de la clase que brindes satisfaría para cualquier número (real) e . Nota que su satisface la función y , por lo que como se requeriría si su función era de la forma . Observe que la clase que propone para funciones lineales es una subclase de lo que generalmente se llaman funciones lineales. $f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

meh
fuente

La linealidad no tiene nada que ver con los términos de error. Tiene que ver con el hecho de que consiste en una combinación lineal de los parámetros . Esto representa una línea recta en el espacio 2D (pero más generalmente representa un plano).

shadowtalker

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Sin embargo, la función sería lineal.

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

si eso es lo que él insiste, entonces esa es su opinión y no algún tipo de hecho difícil. Hasta donde sé, no hay una definición rigurosa aceptada para un "modelo lineal", ni tampoco hay una necesidad en mi mente. Para mí, el hecho de que haya un término de error involucrado simplemente convierte el modelo de un "modelo lineal" a un "modelo lineal estadístico". No veo nada inherentemente lineal sobre sus términos, ni veo nada inherentemente estadístico sobre modelos lineales.

shadowtalker

La OMI que insiste en la presencia de un término de error simplemente descuenta lo que, digamos, e ingeniería o físico podría considerar un "modelo lineal" de un proceso físico determinista.

shadowtalker