Todo lo relacionado con el aprendizaje profundo (DL) y las redes profundas (er) parece "exitoso", al menos progresa muy rápido y cultiva la creencia de que AGI está al alcance. Esta es la imaginación popular. DL es una herramienta tremenda para abordar tantos problemas, incluida la creación de AGI. Sin embargo, no es suficiente. Una herramienta es un ingrediente necesario, pero a menudo insuficiente.
Las principales figuras en el dominio están buscando en otro lugar para avanzar. Este informe / reclamo reúne enlaces a declaraciones de Yoshua Bengio , Yann LeCun y Geoff Hinton . El informe también explica:
Las principales debilidades de DL (como las veo) son: dependencia de las neuronas modelo más simples posibles ("caricaturescas" como las llama LeCun); uso de ideas de la Mecánica Estadística y Estadística del siglo XIX, que son la base de las funciones energéticas y los métodos de probabilidad logarítmica; y la combinación de estas en técnicas como backprop y descenso de gradiente estocástico, lo que lleva a un régimen de aplicación muy limitado (fuera de línea, en su mayoría, aprendizaje supervisado), que requiere profesionales altamente talentosos (también conocido como "Descenso graduado estocástico"), grandes cantidades de costosas etiquetado datos de entrenamiento y potencia computacional. Si bien es ideal para grandes empresas que pueden atraer o comprar el talento e implementar recursos ilimitados para recopilar datos y analizarlos, DL no es accesible ni útil para la mayoría de nosotros.
Aunque interesante y relevante, este tipo de explicación realmente no aborda la esencia del problema: ¿Qué falta?
La pregunta parece amplia, pero puede ser por falta de una respuesta simple. ¿Hay alguna manera de determinar qué falta DL para un AGI?
fuente
Respuestas:
Todos los que trabajan con redes neuronales pierden un punto importante al comparar sistemas con inteligencia humana. Un humano tarda muchos meses en hacer algo inteligible, y mucho menos poder resolver problemas donde los humanos adultos apenas pueden manejarlo. Eso y el tamaño del cerebro humano es enorme en comparación con nuestras redes neuronales. La dirección puede ser correcta, pero la escala está muy alejada. El número de neuronas en el cerebro humano se puede igualar en cuanto a la memoria, pero aún no se puede lograr la cantidad de paralelismo para simularlo en tiempo real (al menos para un investigador aleatorio). Si bien un poco viejo, esto podría darle una idea de cuánto nos falta el poder de procesamiento.
fuente
El aprendizaje profundo es principalmente exitoso en el aprendizaje supervisado, mientras que el cerebro construye categorías principalmente de una manera no supervisada. Todavía no sabemos cómo hacer eso. (Eche un vistazo al cerebro de google : 16,000 núcleos y todo lo que puede hacer es reconocer gatos y rostros humanos con bastante precisión abismal).
Deep Learning utiliza activaciones altamente desestructuradas, es decir, las representaciones de alto nivel de "perro" y "gato" en un clasificador de redes neuronales no tienen que ser similares en absoluto. El cerebro, por otro lado, usa neuronas inhibitorias para crear representaciones distribuidas dispersas que son descomponibles en sus aspectos semánticos. Eso es probablemente importante para la abstracción y el razonamiento por analogía.
El cerebro tiene muchas partes diferentes que trabajan juntas. Los investigadores de Deep Learning apenas comienzan a integrar mecanismos de memoria o atención en su arquitectura.
El cerebro integra información de muchos sentidos diferentes. La mayoría de las aplicaciones de Deep Learning utilizan solo un tipo de entrada, como texto o imágenes.
El cerebro es capaz de modelar secuencias como categorías. (Básicamente, cada verbo nombra una categoría secuencial (es decir, temporal)). Luego puede organizar estas categorías en planes jerárquicos a largo plazo. Hasta ahora no he visto nada en esa dirección en Deep Learning.
Además, las redes neuronales aún no pueden operar en la misma escala que el cerebro humano. Si observa las respuestas a esta pregunta , el cerebro humano estará a la cabeza en el recuento de neuronas durante otras dos décadas. Es posible que una red neuronal no necesite la misma cantidad de neuronas que el cerebro para alcanzar un rendimiento similar (debido a una mayor precisión), pero en este momento, por ejemplo, el procesamiento de video todavía es bastante limitado en términos de entrada y rendimiento.
fuente
En mi humilde opinión, el primer obstáculo es la escala : incluso el DNN más grande de Google no se acerca a la escala del cerebro, y por un factor de varios órdenes de magnitud ...
fuente
Creo que aún faltan los aspectos que hacen que un cerebro humano; tener muchas redes diferentes trabajando entre sí.
Al igual que la meditación mejora las capacidades cognitivas al hacer que el cerebro trabaje de manera más sinérgica, también podríamos aplicarlo a las máquinas.
Por ejemplo, Google está aprendiendo una computadora a soñar, al igual que nosotros, para reforzar lo que ya aprendimos. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww
Y aquí está pathnet, una red de redes neuronales. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7
¡Creando todas estas mecánicas y uniéndolas todas, con suficiente potencia y nos acercaremos bastante!
fuente
Los defensores de la inteligencia artificial de hoy se centran en el problema de la computabilidad: la capacidad de resolver problemas complejos rápidamente. Creo que cualquier éxito en esta dirección no conducirá a la inteligencia humana (general), aunque ciertamente superará a los humanos en ciertos dominios. En cambio, los esfuerzos deben ser hacia un estudio de qué eventos neurológicos causan sensación (la experiencia de los qualia). Por supuesto, este es el problema difícil de la filosofía, pero creo que es la clave única para la inteligencia general y sus capacidades. La ingeniería inversa y también las teorías comprobables deberían avanzar hacia este fin.
fuente