¿Qué topologías están en gran parte inexploradas en el aprendizaje automático? [cerrado]

12

Geometría e IA

Matrices, cubos, capas, pilas y jerarquías son lo que podríamos llamar con precisión topologías . Considere la topología en este contexto el diseño geométrico de nivel superior de un sistema de aprendizaje.

A medida que aumenta la complejidad, a menudo es útil representar estas topologías como estructuras gráficas dirigidas. Los diagramas de estado y el trabajo de Markov sobre la teoría de juegos son dos lugares donde los gráficos dirigidos se usan comúnmente. Los gráficos dirigidos tienen vértices (a menudo visualizados como formas cerradas) y los bordes a menudo visualizados como flechas que conectan las formas.

También podemos representar las GAN como un gráfico dirigido, donde la salida de cada red impulsa el entrenamiento de la otra de manera contradictoria. Las GAN se parecen a una tira de Möbius topológicamente.

No podemos descubrir nuevos diseños y arquitecturas sin comprender no solo las matemáticas de converger en una solución óptima o rastrear una, sino también las topologías de las conexiones de red que pueden admitir dicha convergencia. Es como desarrollar primero un procesador mientras imagina lo que necesitaría un sistema operativo antes de escribir el sistema operativo.

Para vislumbrar qué topologías NO HEMOS considerado, primero veamos cuáles han sido.

Paso uno - Extrusión en una segunda dimensión

En la década de 1980, se logró el éxito con la extensión del diseño original de perceptrón. Los investigadores agregaron una segunda dimensión para crear una red neuronal de varias capas. Se logró una convergencia razonable mediante la propagación inversa del gradiente de una función de error a través de los gradientes de las funciones de activación atenuadas por las tasas de aprendizaje y amortiguadas con otros metaparámetros.

Paso dos: agregar dimensiones a la señal de entrada discreta

Vemos la aparición de redes convolucionales basadas en las técnicas existentes de convolución de imágenes sintonizadas manualmente que introdujeron dimensiones a la entrada de la red: posición vertical, componentes de color y marco. Esta última dimensión es crítica para CGI, reemplazo de rostros y otras técnicas morfológicas en la realización de películas contemporáneas. Sin ella, tenemos generación de imágenes, categorización y eliminación de ruido.

Paso tres: pilas de redes

Vemos que surgen pilas de redes neuronales a fines de la década de 1990, donde la capacitación de una red es supervisada por otra. Esta es la introducción de capas conceptuales, ni en el sentido de capas secuenciales de neuronas ni en el sentido de capas de color en una imagen. Este tipo de capas tampoco es recursiva. Es más como el mundo natural donde una estructura es un órgano dentro de otro tipo de estructura completamente diferente.

Paso cuatro - Jerarquías de redes

Vemos jerarquías de redes neuronales que aparecen con frecuencia en la investigación que surgió en la década de 2000 y principios de 2010 (Laplacian y otros), que continúa la interacción entre redes neuronales y continúa la analogía del cerebro de los mamíferos. Ahora vemos metaestructura, donde redes enteras se convierten en vértices en un gráfico dirigido que representa una topología.

Paso cinco% mdash; Salidas desde la orientación cartesiana

Los arreglos repetitivos sistemáticos no cartesianos de las células y las conexiones entre ellos han comenzado a surgir en la literatura. Por ejemplo, las redes convolucionales equivalentes de calibre y la CNN icosaédrica (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) examinan el uso de un arreglo basado en un icosaedro regular convexo.

Resumiendo

Las capas tienen funciones de activación valoradas ordinariamente para vértices y matrices de atenuación asignadas a un conjunto exhaustivo de bordes dirigidos entre capas adyacentes [1]. Las capas de convolución de imagen a menudo están en disposiciones de vértices bidimensionales con cubos de atenuación asignados a un conjunto abreviado de bordes dirigidos entre capas adyacentes [2]. Las pilas tienen redes en capas completas como vértices en un gráfico meta-dirigido, y esos meta-vértices están conectados en una secuencia con cada borde como un metaparámetro de entrenamiento, una señal de refuerzo (retroalimentación en tiempo real) o algún otro control de aprendizaje. . Las jerarquías de redes reflejan la noción de que se pueden agregar controles múltiples y dirigir el aprendizaje de nivel inferior, o el caso de cambio donde múltiples elementos de aprendizaje pueden ser controlados por una red de supervisores de nivel superior.

Análisis de la tendencia en topologías de aprendizaje

Podemos analizar tendencias en la arquitectura de aprendizaje automático. Tenemos tres tendencias topológicas.

  • Profundidad en la dimensión de causalidad: capas para el procesamiento de la señal donde la salida de una capa de activaciones se alimenta a través de una matriz de parámetros atenuantes (pesos) a la entrada de la siguiente capa. A medida que se establecen mayores controles, solo comenzando con un descenso de gradiente básico en la propatagión posterior, se puede lograr una mayor profundidad.

  • Dimensionalidad de la señal de entrada: desde la entrada escalar hasta los hipercubos (el video tiene una profundidad de color horizontal, vertical, incluida la transparencia y el marco). Tenga en cuenta que esto no es lo mismo que el número de entradas en el sentido del perceptrón.

  • Desarrollo topológico: los dos anteriores son de naturaleza cartesiana. Las dimensiones se agregan en ángulo recto a la dimensión existente. Como las redes están cableadas en jerarquías (como en las Jerarquías Laplacianas) y Möbius se tiran como círculos (como en las GAN), las tendencias son topográficas y se representan mejor mediante gráficos dirigidos donde los vértices no son neuronas sino redes más pequeñas de ellas.

¿Qué topologías faltan?

Esta sección amplía el significado de la pregunta del título.

  • ¿Hay alguna razón por la cual múltiples meta-vértices, cada uno representando una red neuronal, se puedan organizar de tal manera que múltiples meta-vértices de supervisor puedan, en conjunto, supervisar múltiples meta-vértices de empleados?
  • ¿Por qué la retropropagación de una señal de error es el único equivalente no lineal de la retroalimentación negativa?
  • ¿No puede emplearse la colaboración entre meta-vértices en lugar de la supervisión, donde hay dos bordes recíprocos que representan los controles?
  • Dado que las redes neuronales se emplean principalmente para el aprendizaje de fenómenos no lineales, ¿por qué prohíbe otros tipos de caminos cerrados en el diseño de las redes o su interconexión?
  • ¿Hay alguna razón por la que no se pueda agregar sonido a la imagen para que los videoclips se puedan clasificar automáticamente? Si ese es el caso, ¿es un guión una posible extracción de una película y se puede utilizar una arquitectura de confrontación para generar guiones y producir las películas sin el sistema de estudio de películas? ¿Cómo sería esa topología como un gráfico dirigido?
  • Si bien las celdas dispuestas ortogonalmente pueden simular una disposición de empaquetamiento regular arbitraria de vértices y bordes no ortogonales, ¿es eficiente hacerlo en visión por computadora, donde la inclinación de la cámara es diferente a más o menos 90 grados?
  • ¿Es eficiente organizar células individuales en redes o redes de células en sistemas de IA ortogonalmente en sistemas de aprendizaje que están dirigidos a la comprensión y ensamblaje del lenguaje natural o cognición artificial?

Notas

  1. Las células artificiales en MLP usan funciones de transferencia aritmética de punto flotante o fijo en lugar de transmisiones de pulso electroquímico basadas en la amplitud y el umbral basado en la proximidad. No son simulaciones realistas de neuronas, por lo que llamar a los vértices neuronas sería un nombre inapropiado para este tipo de análisis.

  2. La correlación de las características de la imagen y los cambios relativos entre píxeles cercanos son mucho más altos que los de píxeles distantes.

Douglas Daseeco
fuente
He leído esta pregunta una o dos veces y debo admitir que no tengo idea de lo que se pregunta. en particular "topología" no se refiere a ninguno de los conceptos que menciona. tal vez te refieres a "arquitectura"? pero eso tampoco parece tener sentido ... creo que esta pregunta cae directamente dentro de la categoría "ni siquiera".
kc sayz 'kc sayz'

Respuestas:

0

La topología es el estudio de formas geométricas diferenciadas por intersección y bifurcación. El término se utiliza para los aspectos gráficos de las arquitecturas de red. Es apropiado usarlo para considerar la extensión de la analogía de la red neuronal, con el entendimiento de que los ANN no se parecen mucho a las neuronas biológicas en la forma en que se activan. Debido a eso, es difícil limitar la discusión a las preocupaciones topológicas cuando se considera lo que está en gran parte inexplorado.

El paradigma del empleado supervisor es el que usan las pilas y las jerarquías laplacianas, mientras que el paradigma del colaborador es el que usan las redes adversarias. Aunque la retroalimentación es negativa, el modelo generativo (G) y el modelo discriminativo (D) en realidad están en colaboración para lograr una meta, ya que un defensor del diablo se usa en el discurso para converger en las verdades. Ciertamente, hay otros diseños en los que los vértices no son neuronas artificiales, sino elementos completos de ANN o CNN.

Los paradigmas profesor-alumno y supervisor-empleado son probablemente solo dos de muchos. Para simular la plasticidad neuronal, los paradigmas de la planta de jardinero, el reparador de electrodomésticos y el producto de ingeniero necesitan investigación.

La propagación hacia atrás de una señal de error no es el único equivalente no lineal de la retroalimentación negativa. La topología circular de las GAN también es retroalimentación negativa, como indicó en su uso de la analogía de la tira de Möbius. Sin embargo, debería pensarse más en ese sentido.

La colaboración entre meta-vértices es interesante. ¿La colaboración debe ser del tipo de adversario pretendido? ¿Puede la retroalimentación positiva ser útil en topologías de inteligencia artificial? Los propietarios de las granjas y los conductores de camiones de distribución de alimentos compran alimentos en los supermercados que se encuentran al final de una cadena de procesos de los cuales su papel es solo una parte. Los ciclos más grandes en representaciones gráficas dirigidas de topologías y diseños probablemente pueden emplear retroalimentación positiva o negativa de manera útil.

La producción artificial de películas puede surgir de investigaciones como el trabajo de Cornell U en Video Generation From Text: Li, Min, Shen, Carlson y Carin .

FauChristian
fuente
0

Edge of Chaos and Machine Learning; y beneficios en la toma de decisiones


Respuesta directa a su pregunta : -

Filo del caos


Explicación laica :

( https://www.lucd.ai/post/the-edge-of-chaos# !)


De qué se trata esta respuesta : -

El filo del caos en la teoría del caos podría ser un tema importante de investigación en inteligencia artificial.

¿Cuál es el borde del caos? Se presume que este campo existe dentro de una amplia variedad de sistemas. Tiene muchas aplicaciones en tales campos. Este campo es una zona de transición entre la interacción entre el orden y el desorden.

Estoy interesado en la intersección entre la IA y la teoría del caos. El borde del caos sirve como una topología potencial que está en gran parte inexplorada en el aprendizaje automático.

Este es un campo rico que ofrece mucho potencial. Es, ambos, en gran parte desconocido y subestimado.

Exploraré los beneficios de analizar dicho campo en esta respuesta. Los beneficios se muestran en la toma de decisiones, como la forma óptima de invertir y administrar la mano de obra en una organización.


Explicación técnica : -

"Las matrices, cubos, capas, pilas y jerarquías son lo que podríamos llamar con precisión topologías. Considere la topología en este contexto el diseño geométrico de nivel superior de un sistema de aprendizaje". ~ Douglas Daseeco, póster de apertura

Compare eso con este extracto del resumen del artículo a continuación:

"... A través del análisis dinámico de estabilidad en varios modelos de visión por computadora, encontramos evidencia directa de que el rendimiento óptimo de la red neuronal profunda ocurre cerca del punto de transición que separa los atractores estables y caóticos ..." Feng, Ling y Choy Heng Lai. - "Inteligencia de máquina óptima cerca del borde del caos". preimpresión arXiv arXiv: 1909.05176 (2019).

-

"El borde del caos es un espacio de transición entre el orden y el desorden que se supone que existe dentro de una amplia variedad de sistemas. Esta zona de transición es una región de inestabilidad limitada que engendra una interacción dinámica constante entre el orden y el desorden".

Aunque la idea del borde del caos es abstracta y poco intuitiva, tiene muchas aplicaciones en campos como la ecología, la gestión empresarial, la psicología, la ciencia política y otros dominios de la ciencia social. Los físicos han demostrado que la adaptación al borde del caos ocurre en casi todos los sistemas con retroalimentación. "Colaboradores de Wikipedia". - "Borde del caos". Wikipedia, la enciclopedia libre . Wikipedia, The Free Encyclopedia, 10 de septiembre de 2019. Web. 22 de septiembre de 2019.


Los beneficios de estudiar un campo de este tipo :

"Estrategia, protocolo, equipos, departamentos, jerarquías. Todo meticulosamente organizado para un rendimiento óptimo.

O al menos, así es como se supone que debe ser. Pero cuando aplicamos la lente de un teórico de la complejidad al negocio que hacemos, vemos que las cosas son bastante más complejas. Ya no vemos a las organizaciones como organizaciones, ni a los departamentos como departamentos, sino como sistemas adaptativos complejos, que se comprenden más útilmente en las tres partes:

EMPLEO

Uso de modelos mentales para tomar mejores decisiones en el trabajo La vida profesional está plagada de decisiones difíciles. ¿Estoy listo para esta promoción? ¿Cuál de mis gerentes debería elegir como mentor? ¿Qué debo comer en el almuerzo? No existe un método infalible para tomar el mejor curso de acción de manera constante, incluso los mejores cometemos errores, pero, con las herramientas adecuadas, es posible maximizar las posibilidades de éxito.

En primer lugar, los empleados (en complejidad hablan: agentes heterogéneos). Cada empleado tiene reglas de decisión diferentes y cambiantes que reflejan el entorno e intentan anticipar cambios en él. En segundo lugar, los empleados que interactúan entre sí y las estructuras que crean estas interacciones, los científicos llaman a esto surgimiento. Por último, la estructura general que emerge, comportándose como un sistema de nivel superior con propiedades y características distintas de las de sus agentes subyacentes. Esta última parte es la razón por la que a menudo decimos "el todo es mayor que la suma de sus partes".

Dado el deseo de control de los gerentes, la complejidad está lejos de ser una realidad conveniente. En lugar de enfrentar la brutal realidad del sistema que están trabajando para mantener, los gerentes a menudo trabajan en silos, creando modelos y mecanismos que imponen una apariencia de certeza. Al hacerlo, se ayudan a sí mismos y a sus colegas a tomar decisiones con menos variables. El cumplimiento de los objetivos establecidos por estos modelos genera evidencia de éxito, pero es un éxito simplificado que puede no ser lo mejor para el sistema en su conjunto.

Por ejemplo, asignar una prioridad rígida a la maximización de los rendimientos de los accionistas deja en claro a los trabajadores: en el caso de un compromiso difícil, la opción que se presta a la rentabilidad inmediata es la opción preferible. Pero, por supuesto, todos somos conscientes de que reducir los gastos e inversiones para aumentar los márgenes a corto plazo puede ser perjudicial para la salud a largo plazo de una empresa. Solo adoptando la complejidad podemos equilibrar efectivamente los valores y prioridades en competencia (y los efectos de las decisiones en todos ellos). [...] "- Fresno, Blanca González del." Orden del Caos: Cómo aplicar la teoría de la complejidad en el trabajo: BBVA ". NOTICIAS BBVA , BBVA, 4 de diciembre de 2017, < www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >.


Lectura adicional : -


Fuentes y referencias : -

Revelaciones tautológicas
fuente
-1

Esto puede estar fuera de tema. Si es así, elimínelo.

En los circuitos electrónicos tenemos bloques lógicos: generadores, disparadores, celdas de memoria, selectores, alus, fpus, buses y muchos otros chips. Y a partir de esto tenemos computadoras, y desde el siguiente nivel tenemos redes de computadoras ...

Para el aprendizaje automático, debemos tener una organización similar de las cosas, pero si tenemos computadoras de 64 bits, nuestras redes neuronales pueden tener entradas / salidas más complejas Y más funciones lógicas que las definidas en cualquier lenguaje de programación.

Entonces, para los bits de entrada X tenemos estados X ^ (2 ^ 2) para un bit de salida, y 2 ^ X bits para elegir una función lógica necesaria.

Por lo tanto, debemos estudiar constantemente estas funciones, destacando las necesarias, como primeros filtros opencv como ejemplos.

nexoma
fuente