¿Qué se interpone en el camino de las redes neuronales pulsadas que se utilizan en aplicaciones?
13
Las redes neuronales pulsadas o con picos incorporan más de la dinámica de la membrana de las neuronas biológicas, donde los pulsos llevan información a la siguiente capa. Las neuronas no necesariamente tienen que "dispararse" todas al mismo tiempo, como lo harían en un backprop, por ejemplo.
Sin embargo, parece haber barreras contra el uso de estos modelos para problemas de aprendizaje automático. ¿Qué problemas específicos se interponen en el camino de los profesionales del aprendizaje automático que utilizan modelos que son biológicamente más realistas?
El problema principal es que nadie sabe cómo funciona el cerebro :)
Teoría
Por lo que puedo decir, hay tres grandes pasos en la investigación de redes neuronales:
Modelo de perceptrón (o umbral de puerta), donde cualquier función booleana puede ser calculada por algún perceptrón de múltiples capas con una sola capa oculta.
Modelo de neurona: versión mejorada de la anterior, donde los elementos de red utilizan la función de activación sigmoidea (conjunto continuo de posibles entradas y salidas). También pueden calcular cualquier función booleana (después de aplicar un umbral) y, además, pueden aproximar cualquier función continua.
Modelo de neuronas espirales, que utiliza la "codificación temporal" para pasar información entre los elementos de la red. Puede hacer todo lo que hace el modelo anterior y, a menudo, puede hacerlo con menos neuronas.
Básicamente, la evolución aquí es acercarse a cómo funciona el cerebro humano, y el último modelo tiene la mejor fidelidad.
Práctica
Los SNN parecen muy prometedores e incluso hay un producto comercial que SpikeNET creó sobre él (en "Lo que SpikeNET puede hacer" y "Lo que SpikeNET aún no puede hacer" puede ver los problemas que enfrentaron).
No puedo hablar sobre problemas específicos con las redes de picos, pero en general tengo la impresión de que surgen porque la gente quiere que los SNN funcionen cada vez más como un cerebro humano:
quieren elegir cómo codificar la información, lo que se puede hacer a través de la codificación de retardo (las neuronas más estimuladas tienden a aumentar con mayor frecuencia y antes ), la codificación binaria (la información está representada por el número de picos dentro de un intervalo de tiempo determinado), la codificación de tiempo (la información es la inversa de la granularidad del intervalo de tiempo distinguible), la codificación de orden de rango (los primeros picos recibidos por una neurona tienen influencia y los posteriores se inhiben) y otras cosas.
Emulan la plasticidad de Hebbian, lo que aumenta el peso entre las neuronas cuando ambas neuronas están "activadas" (o ambas "desactivadas") al mismo tiempo.
aplican la autoorganización donde un grupo de neuronas compite con la neurona ganadora inhibiendo la respuesta de otras neuronas. Con una neurona en aumento, el ganador puede calcularse rápidamente basándose solo en eventos de disparo individuales.
Wikipedia tiene un enlace al libro "Redes neuronales pulsadas" que tiene la sección "Problemas de implementación de redes neuronales codificadas por pulsos", pero no estoy lo suficientemente educado para comentar sobre eso.
En cuanto a la introducción al tema, recomiendo este documento: Redes neuronales pulsadas y su aplicación ( pdf )
Estoy de acuerdo en que nadie sabe cómo funciona el cerebro, pero ha habido buenos modelos de membrana fisiológicamente precisos desde los años 30 más o menos. Excelente información en la respuesta, pero por lo que ha escrito, creo que se alentaría a los profesionales a usarlos, en lugar de desalentarlos.
jonsca
Sí exactamente, ¡se sienten alentados por esos problemas! :)
andreister
0
parece que todos los algoritmos de redes neuronales usan alguna forma de descenso de gradiente en sus algoritmos de entrenamiento e incluso los modelos que no son ANN usan el descenso de gradiente. no parece haber ninguna teoría sobre cómo aplicar el descenso de gradiente de manera temporal sobre los SNN. Una posibilidad es un aumento en la computación neuromórfica que utiliza modelos biológicamente más realistas similares a los SNN. pero parece que hasta la fecha no se han logrado importantes puntos de referencia / avances de aprendizaje automático en el campo neuromórfico, como con puntos de referencia muy definidos logrados con ANN en muchos problemas estándar de LD como reconocimiento de escritura, reconocimiento de voz, reconocimiento de objetos, traducción de idiomas, etc.
parece que todos los algoritmos de redes neuronales usan alguna forma de descenso de gradiente en sus algoritmos de entrenamiento e incluso los modelos que no son ANN usan el descenso de gradiente. no parece haber ninguna teoría sobre cómo aplicar el descenso de gradiente de manera temporal sobre los SNN. Una posibilidad es un aumento en la computación neuromórfica que utiliza modelos biológicamente más realistas similares a los SNN. pero parece que hasta la fecha no se han logrado importantes puntos de referencia / avances de aprendizaje automático en el campo neuromórfico, como con puntos de referencia muy definidos logrados con ANN en muchos problemas estándar de LD como reconocimiento de escritura, reconocimiento de voz, reconocimiento de objetos, traducción de idiomas, etc.
fuente