¿Existen redes neuronales con muy pocos nodos que resuelvan decentemente problemas no triviales?

Estoy interesado en saber si existe alguna red neuronal, que resuelva (con> = 80% de precisión) cualquier problema no trivial, que use muy pocos nodos (donde 20 no es un límite estricto). Quiero desarrollar una intuición sobre los tamaños de las redes neuronales.

Incluso si es imposible responder a esta pregunta correctamente, ya que no es trivial no está bien definido (tal vez el autor editará estas preguntas más adelante, para especificarlo mejor), aprovecho la oportunidad para señalar este documento que me parece interesante.

La red neuronal más pequeña para aprender la crítica de Ising

Suponiendo que tenga una idea general del Modelo de Ising , creo que el problema de identificar la temperatura crítica desde una perspectiva basada en datos puede considerarse no trivial y el documento muestra cómo los autores han mejorado el rendimiento relacionado para resolver esta tarea con NN pasando de 100 neuronas ocultas, tal como se realiza en este documento Fases del aprendizaje automático de la materia desde 2017, a solo 2 neuronas ocultas

Solo mis centavos:

• La reducción de las neuronas, al tiempo que se mantiene un buen rendimiento, debería ayudar en términos de interpretación del procesamiento neural que es notoriamente oscura y su complejidad crece (exponencialmente) con el número de neuronas