¿Qué hace que las redes neuronales sean un modelo de clasificación no lineal?

Estoy tratando de entender el significado matemático de los modelos de clasificación no lineal:

Acabo de leer un artículo que habla de que las redes neuronales son un modelo de clasificación no lineal.

Pero me doy cuenta de que:

La primera capa:

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

La capa posterior

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

Se puede simplificar a

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

Una red neuronal de dos capas es solo una simple regresión lineal

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

Esto se puede mostrar a cualquier número de capas, ya que la combinación lineal de cualquier número de pesos es nuevamente lineal.

¿Qué hace que una red neuronal sea un modelo de clasificación no lineal?
¿Cómo afectará la función de activación a la no linealidad del modelo?
¿Me puedes explicar?

Creo que olvida la función de activación en los nodos en la red neuronal, que no es lineal y hará que todo el modelo no sea lineal.

En su fórmula no es totalmente correcta, donde,

$$h_1 \neq w_1x_1+w_2x_2$$

pero

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

donde sigmoid funciona así, $\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

Usemos un ejemplo numérico para explicar el impacto de la función sigmoidea, supongamos que tiene luego sigmoide ( 4 ) = 0.99 . Por otro lado, suponga que tiene , y es casi lo mismo que , que no es lineal.$w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

Además, creo que la diapositiva 14 de este tutorial puede mostrar exactamente dónde hizo mal. Para por favor, no la otuput no es -7.65, sino$H_1$$\text{sigmoid}(-7.65)$

Tienes razón en que múltiples capas lineales pueden ser equivalentes a una sola capa lineal. Como han dicho las otras respuestas, una función de activación no lineal permite la clasificación no lineal. Decir que un clasificador es no lineal significa que tiene un límite de decisión no lineal. El límite de decisión es una superficie que separa las clases; el clasificador predecirá una clase para todos los puntos en un lado del límite de decisión, y otra clase para todos los puntos en el otro lado.

$y$$h$$w$$b$

$$y = \sigma(hw + b)$$

$\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

$hW + b$$y$

Anteriormente dije que el límite de decisión no es lineal, pero un hiperplano es la definición misma de un límite lineal. Pero, hemos estado considerando el límite como una función de las unidades ocultas justo antes de la salida. Las activaciones de unidades ocultas son una función no lineal de las entradas originales, debido a las capas ocultas anteriores y sus funciones de activación no lineal. Una forma de pensar en la red es que asigna los datos de forma no lineal a algún espacio de características. Las coordenadas en este espacio están dadas por las activaciones de las últimas unidades ocultas. La red realiza una clasificación lineal en este espacio (regresión logística, en este caso). También podemos pensar en el límite de decisión en función de las entradas originales. Esta función será no lineal, como consecuencia de la asignación no lineal de entradas a activaciones de unidades ocultas.

Esta publicación de blog muestra algunas buenas figuras y animaciones de este proceso.

La no linealidad proviene de la función de activación sigmoidea, 1 / (1 + e ^ x), donde x es la combinación lineal de predictores y pesos a los que hizo referencia en su pregunta.

Por cierto, los límites de esta activación son cero y uno porque el denominador se vuelve tan grande que la fracción se acerca a cero o e ^ x se vuelve tan pequeño que la fracción se acerca a 1/1.