Arquitecturas neuronales: diseño automático basado en datos

El progreso reciente en las redes neuronales se resume en una secuencia de arquitecturas novedosas caracterizadas principalmente por su creciente complejidad de diseño. Desde LeNet5 (1994) hasta AlexNet (2012), Overfeat (2013) y GoogleLeNet / Inception (2014), etc.

¿Hay algún intento de dejar que la máquina decida / diseñe qué arquitectura se utilizará en función de los datos?

También puede consultar la literatura sobre neuroevolución . Ejemplos:

• Zaremba, Wojciech. Ilya Sutskever. Rafal Jozefowicz " Una exploración empírica de arquitecturas de red recurrentes " (2015): utilizó la computación evolutiva para encontrar estructuras RNN óptimas.
• Franck Dernoncourt. " La formación reticular medial: un sustrato neural para la selección de la acción? Una evaluación a través de la computación evolutiva ". Tesis de maestría. École Normale Supérieure Ulm. 2011
• Bayer, Justin, Daan Wierstra, Julian Togelius y Jürgen Schmidhuber. " Evolución de las estructuras de las células de memoria para el aprendizaje de secuencias " . En la Conferencia Internacional sobre Redes Neuronales Artificiales, pp. 755-764. Springer Berlin Heidelberg, 2009 .: utilizó el cálculo evolutivo para encontrar estructuras RNN óptimas.

Aprendizaje reforzado:

• Pham, Hieu, Melody Y. Guan, Barret Zoph, Quoc V. Le y Jeff Dean. "Búsqueda eficiente de arquitectura neuronal mediante el uso compartido de parámetros". preimpresión de arXiv arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Zoph, Barret y Le, Quoc V. Búsqueda de arquitectura neuronal con aprendizaje por refuerzo. En ICLR, 2017. https://arxiv.org/abs/1611.01578
• José M Álvarez, Mathieu Salzmann. Aprender el número de neuronas en redes profundas. NIPS 2016. https://arxiv.org/abs/1611.06321

• Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar. Diseño de arquitecturas de redes neuronales utilizando el aprendizaje por refuerzo. https://arxiv.org/abs/1611.02167

• Barret Zoph, Quoc V. Le. Búsqueda de arquitectura neuronal con aprendizaje por refuerzo. https://arxiv.org/abs/1611.01578

Diverso:

• Marcin Andrychowicz, Misha Denil, Sergio Gómez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford, Nando de Freitas. Aprendiendo a aprender por gradiente descendente por gradiente descendente. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Optimización de hiperparámetros de redes neuronales con procesos gaussianos para la clasificación de la Ley de Diálogo , IEEE SLT 2016.
• Cortés, Corinna, Xavi Gonzalvo, Vitaly Kuznetsov, Mehryar Mohri y Scott Yang. "AdaNet: Aprendizaje estructural adaptativo de redes neuronales artificiales". preimpresión de arXiv arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : enfoque que aprende tanto la estructura de la red como sus pesos.

Parece que la investigación se está moviendo hacia esa dirección:

• Miconi, Thomas. " Redes neuronales con estructura diferenciable ", arXiv (2016): el autor introduce el concepto de estructura de red diferenciable para incluirlo en la función objetivo.

El AutoML de Google es uno de esos ejemplos. Se aplicó con éxito en el conjunto de datos de ImageNet , lo que resultó en NASNet , que al momento de escribir este artículo, ha superado a todos los demás modelos en términos de precisión. El artículo principal está aquí:

Aprendiendo arquitecturas transferibles para el reconocimiento de imagen escalable - Zoph, et. Alabama.