Estoy leyendo sobre técnicas de computación de yacimientos como Echo State Networks y Liquid State Machines . Ambos métodos implican alimentar las entradas a una población de neuronas que se conectan aleatoriamente (o no), y un algoritmo de lectura relativamente simple que produce la salida (por ejemplo, regresión lineal). Los pesos de la población de neuronas son fijos o entrenados a través de una regla de actividad local similar a Hebbian como STDP .
Estas técnicas funcionan bien al modelar entradas multidimensionales que tienen componentes temporales significativos. Sin embargo, calcular los potenciales de membrana de la neurona aumentada implica la integración de ecuaciones diferenciales y puede ser computacionalmente costoso.
¿Hay ejemplos de dónde la complejidad computacional adicional de las técnicas de computación de yacimientos se ve compensada por las ganancias en una tarea de predicción o clasificación?
Por ejemplo, ¿hay algún caso de que las técnicas de SNN superen a arquitecturas comparativamente complejas basadas en RNN, ANN, SVM, DNN, CNN u otros algoritmos?
Respuestas:
Mi respuesta proviene de la experiencia más que de los experimentos o puntos de referencia publicados.
Hasta donde yo sé, las redes neuronales claveteadas no superan a otros algoritmos en ninguna tarea. Ha habido avances en la robótica y la computación de reservorios, pero los algoritmos de computación de reservorios son tan buenos como otros algoritmos (como el aprendizaje por refuerzo) de acuerdo con publicaciones recientes. Hay rumores de que algunas empresas están interesadas en estos algoritmos porque recientemente han contratado a algunos investigadores de informática de yacimientos, pero estos son solo rumores.
Esta es una de las publicaciones más recientes que detalla los avances y limitaciones de la informática de yacimientos en robótica https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf
Comencé a experimentar con máquinas de estado líquido en la universidad usando la arquitectura propuesta por Wolfgang Maass. Parecía prometedor, especialmente la idea de neuronas inhibitorias que forman parte del circuito. Pero en realidad el uso de estos algoritmos en aplicaciones de datos de la vida real (clasificación de idiomas, clasificación de imágenes, entre otros) no fue suficiente para acercarse a los puntos de referencia como RNN, ANN, SVM. A veces, incluso las redes neuronales multicapa vanilla funcionan mejor que las máquinas de estado líquido. Tengo entendido que este tipo de modelos son buenos para la robótica y otras tareas autónomas relacionadas, como los sensores y la navegación autónoma (pero esa no era mi área de investigación), pero no tanto para otros tipos de datos. Hay algunos laboratorios, principalmente en Europa que trabajan con este algoritmo, pero hasta ahora no he oído hablar de muchos avances en esta área en los últimos años.
Creo que los algoritmos inspirados en el cerebro son el próximo gran paso en la IA, y aunque muchas compañías como Numenta y Deepmind están investigando en esta dirección, a día de hoy todavía queda mucho trabajo por hacer para lograr el próximo avance en AI.
fuente