Entonces, al mirar las redes neuronales de la función de base radial, me di cuenta de que las personas solo recomiendan el uso de 1 capa oculta, mientras que con las redes neuronales de perceptrón multicapa, más capas se consideran mejores.
Dado que las redes RBF se pueden entrenar con la versión de propagación inversa, ¿hay alguna razón por la cual las redes RBF más profundas no funcionarían, o que una capa RBF no se pudiera usar como penúltima o primera capa en una red MLP profunda? (Estaba pensando en la penúltima capa, por lo que esencialmente podría ser entrenado en las características aprendidas por las capas MLP anteriores)
machine-learning
neural-networks
rbf-network
usuario1646196
fuente
fuente
Respuestas:
El problema fundamental es que los RBF son a) demasiado no lineales, b) no reducen las dimensiones.
debido a a) los RBF siempre fueron entrenados por k-medios en lugar de gradiente de descenso.
Yo diría que el principal éxito en Deep NNs son las redes, donde una de las partes clave es la reducción de dimensiones: aunque trabajando con digamos 128x128x3 = 50,000 entradas, cada neurona tiene un campo receptivo restringido, y hay muchas menos neuronas en cada capa En una capa dada en un MLP, cada neurona representa una característica / dimensión), por lo que reduce constantemente la dimensionalidad (al pasar de una capa a otra).
Aunque uno podría hacer que la matriz de covarianza RBF sea adaptativa y también la reducción de dimensiones, esto hace que sea aún más difícil de entrenar.
fuente