¿Cómo puedo automatizar la elección de la topología de una red neuronal para un problema arbitrario?

14

Suponga que quiero resolver un problema con una red neuronal que no puedo ajustar a las topologías ya existentes (perceptrón, Konohen, etc.) o simplemente no soy consciente de la existencia de esas o no puedo entender su Mecánica y confío en la mía en su lugar.

¿Cómo puedo automatizar la elección de la topología (es decir, el número de capas, el tipo de activaciones, el tipo y la dirección de las conexiones, etc.) de una red neuronal para un problema arbitrario?

Soy un principiante, pero me di cuenta de que en algunas topologías (o, al menos en perceptrones) es muy difícil, si no imposible, comprender la mecánica interna ya que las neuronas de las capas ocultas no expresan ningún contexto matemáticamente significativo.

Zoltán Schmidt
fuente

Respuestas:

11

Creo que en este caso, es probable que desee utilizar un algoritmo genético para generar una topología en lugar de trabajar por su cuenta. Personalmente, me gusta NEAT (NeuroEvolution of Augmenting Topologies) .

El documento NEAT original involucra pesos de evolución para las conexiones, pero si solo desea una topología, puede usar un algoritmo de ponderación en su lugar. También puede mezclar funciones de activación si no está seguro de cuál usar. Aquí hay un ejemplo del uso de propagación hacia atrás y múltiples tipos de neuronas.

DanTheMan
fuente