¿Por qué las redes neuronales profundas y el aprendizaje profundo son insuficientes para lograr la inteligencia general?

11

Todo lo relacionado con el aprendizaje profundo (DL) y las redes profundas (er) parece "exitoso", al menos progresa muy rápido y cultiva la creencia de que AGI está al alcance. Esta es la imaginación popular. DL es una herramienta tremenda para abordar tantos problemas, incluida la creación de AGI. Sin embargo, no es suficiente. Una herramienta es un ingrediente necesario, pero a menudo insuficiente.

Las principales figuras en el dominio están buscando en otro lugar para avanzar. Este informe / reclamo reúne enlaces a declaraciones de Yoshua Bengio , Yann LeCun y Geoff Hinton . El informe también explica:

Las principales debilidades de DL (como las veo) son: dependencia de las neuronas modelo más simples posibles ("caricaturescas" como las llama LeCun); uso de ideas de la Mecánica Estadística y Estadística del siglo XIX, que son la base de las funciones energéticas y los métodos de probabilidad logarítmica; y la combinación de estas en técnicas como backprop y descenso de gradiente estocástico, lo que lleva a un régimen de aplicación muy limitado (fuera de línea, en su mayoría, aprendizaje supervisado), que requiere profesionales altamente talentosos (también conocido como "Descenso graduado estocástico"), grandes cantidades de costosas etiquetado datos de entrenamiento y potencia computacional. Si bien es ideal para grandes empresas que pueden atraer o comprar el talento e implementar recursos ilimitados para recopilar datos y analizarlos, DL no es accesible ni útil para la mayoría de nosotros.

Aunque interesante y relevante, este tipo de explicación realmente no aborda la esencia del problema: ¿Qué falta?

La pregunta parece amplia, pero puede ser por falta de una respuesta simple. ¿Hay alguna manera de determinar qué falta DL para un AGI?

Eric Platon
fuente

Respuestas:

7

Todos los que trabajan con redes neuronales pierden un punto importante al comparar sistemas con inteligencia humana. Un humano tarda muchos meses en hacer algo inteligible, y mucho menos poder resolver problemas donde los humanos adultos apenas pueden manejarlo. Eso y el tamaño del cerebro humano es enorme en comparación con nuestras redes neuronales. La dirección puede ser correcta, pero la escala está muy alejada. El número de neuronas en el cerebro humano se puede igualar en cuanto a la memoria, pero aún no se puede lograr la cantidad de paralelismo para simularlo en tiempo real (al menos para un investigador aleatorio). Si bien un poco viejo, esto podría darle una idea de cuánto nos falta el poder de procesamiento.

Cem Kalyoncu
fuente
Gracias por esta respuesta concisa. ¿Está diciendo que solo el tamaño es importante para lograr un AGI y superior, solo con tecnologías DL? El tamaño sí importa, pero probablemente falta algo todavía. (Cualquier juego de palabras en este párrafo está destinado por completo).
Eric Platon
1
Por ejemplo, consideremos los autómatas celulares a la Wolfram. Muy simple, pero conduce a una sorprendente complejidad.
Eric Platon
¿Es la computación cuántica, cualquiera que sea la forma que finalmente tome, una de las soluciones propuestas para este problema de procesamiento?
DukeZhou
El procesamiento cuántico se puede utilizar para llegar a una decisión en un punto, pero no se puede utilizar para simular el flujo continuo como en el cerebro humano. Una vez que se observa el sistema, la forma de onda cuántica se colapsa, reduciéndolo esencialmente a un sistema secuencial lento.
Cem Kalyoncu
1
@CemKalyoncu De hecho. Pero un elefante tiene casi 3 veces más que los humanos . El argumento del tamaño importa, claro, pero el tamaño solo no parece ser suficiente.
Eric Platon
6

El aprendizaje profundo es principalmente exitoso en el aprendizaje supervisado, mientras que el cerebro construye categorías principalmente de una manera no supervisada. Todavía no sabemos cómo hacer eso. (Eche un vistazo al cerebro de google : 16,000 núcleos y todo lo que puede hacer es reconocer gatos y rostros humanos con bastante precisión abismal).

Deep Learning utiliza activaciones altamente desestructuradas, es decir, las representaciones de alto nivel de "perro" y "gato" en un clasificador de redes neuronales no tienen que ser similares en absoluto. El cerebro, por otro lado, usa neuronas inhibitorias para crear representaciones distribuidas dispersas que son descomponibles en sus aspectos semánticos. Eso es probablemente importante para la abstracción y el razonamiento por analogía.

El cerebro tiene muchas partes diferentes que trabajan juntas. Los investigadores de Deep Learning apenas comienzan a integrar mecanismos de memoria o atención en su arquitectura.

El cerebro integra información de muchos sentidos diferentes. La mayoría de las aplicaciones de Deep Learning utilizan solo un tipo de entrada, como texto o imágenes.

El cerebro es capaz de modelar secuencias como categorías. (Básicamente, cada verbo nombra una categoría secuencial (es decir, temporal)). Luego puede organizar estas categorías en planes jerárquicos a largo plazo. Hasta ahora no he visto nada en esa dirección en Deep Learning.

Además, las redes neuronales aún no pueden operar en la misma escala que el cerebro humano. Si observa las respuestas a esta pregunta , el cerebro humano estará a la cabeza en el recuento de neuronas durante otras dos décadas. Es posible que una red neuronal no necesite la misma cantidad de neuronas que el cerebro para alcanzar un rendimiento similar (debido a una mayor precisión), pero en este momento, por ejemplo, el procesamiento de video todavía es bastante limitado en términos de entrada y rendimiento.

BlindKungFuMaster
fuente
Puntos interesantes aquí también, gracias. Mi preocupación aquí es que es un proceso de contraste (aprendizaje [profundo]) y estructura (de la red o el cerebro). Si esta tendencia es correcta, AGI es solo una cuestión de tiempo basada en lo que tenemos. Usted menciona problemas semánticos en redes profundas, probablemente mejor vistos en modelos adversos. Esto indica que falta algo y es uno de los mejores argumentos en esta respuesta. Entiendo que las estructuras actuales son insuficientes (es decir, los primeros modelos de memoria). Sin embargo, esto aborda indirectamente el problema del "por qué". ¿Ves formas de refinar tu respuesta?
Eric Platon
¿Los recientes enfoques "ópticos" del juego ML son un intento de liberarse del aprendizaje supervisado?
DukeZhou
@DukeZhou: Creo que las técnicas de RL podrían desempeñar un papel en el aprendizaje no supervisado, pero en este momento me parece que RL aún no está aprendiendo conceptos de alto nivel.
BlindKungFuMaster
1
@EricPlaton: No estoy seguro de entender tu comentario. Lo que creo que falta es 1. estructura y 2. escala. Y, por supuesto, algoritmos, pero esos están entrelazados con la estructura.
BlindKungFuMaster
3

En mi humilde opinión, el primer obstáculo es la escala : incluso el DNN más grande de Google no se acerca a la escala del cerebro, y por un factor de varios órdenes de magnitud ...

Franco
fuente
2

Creo que aún faltan los aspectos que hacen que un cerebro humano; tener muchas redes diferentes trabajando entre sí.

Al igual que la meditación mejora las capacidades cognitivas al hacer que el cerebro trabaje de manera más sinérgica, también podríamos aplicarlo a las máquinas.

Por ejemplo, Google está aprendiendo una computadora a soñar, al igual que nosotros, para reforzar lo que ya aprendimos. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Y aquí está pathnet, una red de redes neuronales. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

¡Creando todas estas mecánicas y uniéndolas todas, con suficiente potencia y nos acercaremos bastante!

Alejandro
fuente
¿Podría aclarar qué es "eso"? Podría ser el proceso de aprendizaje profundo, o redes igualmente profundas. Estos son diferentes
Eric Platon
1
Ambas, pero principalmente porque las redes neuronales profundas funcionan entre sí, especulo que DNN también debería tener buenas características de plasticidad neuronal. Pero esto es algo que sólo se podía tocar lo básico en adelante, ni siquiera lo saben siquiera sabemos exactamente cómo funciona un cerebro humano
Alexander
1

Los defensores de la inteligencia artificial de hoy se centran en el problema de la computabilidad: la capacidad de resolver problemas complejos rápidamente. Creo que cualquier éxito en esta dirección no conducirá a la inteligencia humana (general), aunque ciertamente superará a los humanos en ciertos dominios. En cambio, los esfuerzos deben ser hacia un estudio de qué eventos neurológicos causan sensación (la experiencia de los qualia). Por supuesto, este es el problema difícil de la filosofía, pero creo que es la clave única para la inteligencia general y sus capacidades. La ingeniería inversa y también las teorías comprobables deberían avanzar hacia este fin.

usuario415738
fuente
1
Quaila podría ser un rasgo interesante para las máquinas (especialmente si queremos que las personas otorguen derechos a estas máquinas), pero aparte de que la propia quaila es un problema muy difícil en filosofía, hay dos cuestiones principales en juego. (A) la inteligencia en sí misma puede no requerir quaila, puedes ser inteligente sin poder tener experiencias subjetivas en primera persona ... es decir, el zombi filosófico.
Izquierda SE El 10_6_19
(B) La industria solo se preocupa por resolver problemas complejos rápidamente y realmente no le preocupa si dicha máquina rápida puede pensar o sentir. AGI solo se desea en la medida en que pueda resolver rápidamente problemas complejos ... la inteligencia es solo un medio para un fin. (De hecho, es posible que la industria no quiera una máquina de pensar y sentir, ya que tales máquinas pueden merecer derechos ... y los derechos son como las regulaciones, limitando lo que una empresa puede hacer con su herramienta).
Izquierda SE el 10_6_19