¿Qué hace que las redes neuronales sean tan buenas en las predicciones?

Soy nuevo en la red neuronal y estoy tratando de comprender matemáticamente qué hace que las redes neuronales sean tan buenas en los problemas de clasificación.

Al tomar el ejemplo de una red neuronal pequeña (por ejemplo, una con 2 entradas, 2 nodos en una capa oculta y 2 nodos para la salida), todo lo que tiene es una función compleja en la salida que es principalmente sigmoidea sobre una combinación lineal del sigmoide.

Entonces, ¿cómo los hace buenos para la predicción? ¿La función final conduce a algún tipo de ajuste de curva?

Las redes neuronales son buenas para clasificar. En algunas situaciones, todo se reduce a la predicción, pero no necesariamente.

La razón matemática para la destreza de las redes neuronales en la clasificación es el teorema de aproximación universal . Que establece que una red neuronal puede aproximarse a cualquier función continua de valor real en un subconjunto compacto. La calidad de la aproximación depende del número de neuronas. También se ha demostrado que agregar las neuronas en capas adicionales en lugar de agregarlas a las capas existentes mejora la calidad de la aproximación más rápido.

Agregue a eso la efectividad poco conocida del algoritmo de retropropagación y tendrá una configuración que luego podrá aprender la función que promete la UAT o algo parecido.

En Neural Networks consideramos todo en alta dimensión e intentamos encontrar un hiperplano que los clasifique por pequeños cambios ...

Probablemente sea difícil demostrar que funciona, pero la intuición dice que si se puede clasificar, puede hacerlo agregando un plano relajado y dejando que se mueva entre los datos para encontrar un óptimo local ...

Con Neural Networks simplemente clasifica los datos. Si clasifica correctamente, puede hacer futuras clasificaciones.

¿Cómo funciona?

Las redes neuronales simples como Perceptron pueden dibujar un límite de decisión para clasificar los datos.

Por ejemplo, suponga que desea resolver un problema simple Y con una red neuronal simple. Tiene 4 datos de muestra que contienen x1 y x2 y un vector de peso que contiene w1 y w2. Suponga que el vector de peso inicial es [0 0]. Si realizó un cálculo que depende del algoritmo NN. Al final, debe tener un vector de peso [1 1] o algo así.

Por favor, concéntrate en el gráfico.

Dice: puedo clasificar los valores de entrada en dos clases (0 y 1). Okay. Entonces, ¿cómo puedo hacer esto? Es muy simple Valores de entrada de primera suma (x1 y x2).

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 2

Dice:

si suma <1.5, entonces su clase es 0

si suma> 1.5, entonces su clase es 1

Las redes neuronales se destacan en una variedad de tareas, pero para comprender exactamente por qué, puede ser más fácil realizar una tarea en particular como la clasificación y profundizar.

En términos simples, las técnicas de aprendizaje automático aprenden una función para predecir a qué clase pertenece una entrada en particular, dependiendo de ejemplos anteriores. Lo que distingue a las redes neuronales es su capacidad para construir estas funciones que pueden explicar incluso patrones complejos en los datos. El corazón de una red neuronal es una función de activación como Relu, que le permite dibujar algunos límites de clasificación básicos como:

Al componer juntos cientos de Relus, las redes neuronales pueden crear límites de clasificación arbitrariamente complejos, por ejemplo:

En este artículo, trato de explicar la intuición detrás de lo que hace que funcionen las redes neuronales: https://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce