Geometría e IA
Matrices, cubos, capas, pilas y jerarquías son lo que podríamos llamar con precisión topologías . Considere la topología en este contexto el diseño geométrico de nivel superior de un sistema de aprendizaje.
A medida que aumenta la complejidad, a menudo es útil representar estas topologías como estructuras gráficas dirigidas. Los diagramas de estado y el trabajo de Markov sobre la teoría de juegos son dos lugares donde los gráficos dirigidos se usan comúnmente. Los gráficos dirigidos tienen vértices (a menudo visualizados como formas cerradas) y los bordes a menudo visualizados como flechas que conectan las formas.
También podemos representar las GAN como un gráfico dirigido, donde la salida de cada red impulsa el entrenamiento de la otra de manera contradictoria. Las GAN se parecen a una tira de Möbius topológicamente.
No podemos descubrir nuevos diseños y arquitecturas sin comprender no solo las matemáticas de converger en una solución óptima o rastrear una, sino también las topologías de las conexiones de red que pueden admitir dicha convergencia. Es como desarrollar primero un procesador mientras imagina lo que necesitaría un sistema operativo antes de escribir el sistema operativo.
Para vislumbrar qué topologías NO HEMOS considerado, primero veamos cuáles han sido.
Paso uno - Extrusión en una segunda dimensión
En la década de 1980, se logró el éxito con la extensión del diseño original de perceptrón. Los investigadores agregaron una segunda dimensión para crear una red neuronal de varias capas. Se logró una convergencia razonable mediante la propagación inversa del gradiente de una función de error a través de los gradientes de las funciones de activación atenuadas por las tasas de aprendizaje y amortiguadas con otros metaparámetros.
Paso dos: agregar dimensiones a la señal de entrada discreta
Vemos la aparición de redes convolucionales basadas en las técnicas existentes de convolución de imágenes sintonizadas manualmente que introdujeron dimensiones a la entrada de la red: posición vertical, componentes de color y marco. Esta última dimensión es crítica para CGI, reemplazo de rostros y otras técnicas morfológicas en la realización de películas contemporáneas. Sin ella, tenemos generación de imágenes, categorización y eliminación de ruido.
Paso tres: pilas de redes
Vemos que surgen pilas de redes neuronales a fines de la década de 1990, donde la capacitación de una red es supervisada por otra. Esta es la introducción de capas conceptuales, ni en el sentido de capas secuenciales de neuronas ni en el sentido de capas de color en una imagen. Este tipo de capas tampoco es recursiva. Es más como el mundo natural donde una estructura es un órgano dentro de otro tipo de estructura completamente diferente.
Paso cuatro - Jerarquías de redes
Vemos jerarquías de redes neuronales que aparecen con frecuencia en la investigación que surgió en la década de 2000 y principios de 2010 (Laplacian y otros), que continúa la interacción entre redes neuronales y continúa la analogía del cerebro de los mamíferos. Ahora vemos metaestructura, donde redes enteras se convierten en vértices en un gráfico dirigido que representa una topología.
Paso cinco% mdash; Salidas desde la orientación cartesiana
Los arreglos repetitivos sistemáticos no cartesianos de las células y las conexiones entre ellos han comenzado a surgir en la literatura. Por ejemplo, las redes convolucionales equivalentes de calibre y la CNN icosaédrica (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) examinan el uso de un arreglo basado en un icosaedro regular convexo.
Resumiendo
Las capas tienen funciones de activación valoradas ordinariamente para vértices y matrices de atenuación asignadas a un conjunto exhaustivo de bordes dirigidos entre capas adyacentes [1]. Las capas de convolución de imagen a menudo están en disposiciones de vértices bidimensionales con cubos de atenuación asignados a un conjunto abreviado de bordes dirigidos entre capas adyacentes [2]. Las pilas tienen redes en capas completas como vértices en un gráfico meta-dirigido, y esos meta-vértices están conectados en una secuencia con cada borde como un metaparámetro de entrenamiento, una señal de refuerzo (retroalimentación en tiempo real) o algún otro control de aprendizaje. . Las jerarquías de redes reflejan la noción de que se pueden agregar controles múltiples y dirigir el aprendizaje de nivel inferior, o el caso de cambio donde múltiples elementos de aprendizaje pueden ser controlados por una red de supervisores de nivel superior.
Análisis de la tendencia en topologías de aprendizaje
Podemos analizar tendencias en la arquitectura de aprendizaje automático. Tenemos tres tendencias topológicas.
Profundidad en la dimensión de causalidad: capas para el procesamiento de la señal donde la salida de una capa de activaciones se alimenta a través de una matriz de parámetros atenuantes (pesos) a la entrada de la siguiente capa. A medida que se establecen mayores controles, solo comenzando con un descenso de gradiente básico en la propatagión posterior, se puede lograr una mayor profundidad.
Dimensionalidad de la señal de entrada: desde la entrada escalar hasta los hipercubos (el video tiene una profundidad de color horizontal, vertical, incluida la transparencia y el marco). Tenga en cuenta que esto no es lo mismo que el número de entradas en el sentido del perceptrón.
Desarrollo topológico: los dos anteriores son de naturaleza cartesiana. Las dimensiones se agregan en ángulo recto a la dimensión existente. Como las redes están cableadas en jerarquías (como en las Jerarquías Laplacianas) y Möbius se tiran como círculos (como en las GAN), las tendencias son topográficas y se representan mejor mediante gráficos dirigidos donde los vértices no son neuronas sino redes más pequeñas de ellas.
¿Qué topologías faltan?
Esta sección amplía el significado de la pregunta del título.
- ¿Hay alguna razón por la cual múltiples meta-vértices, cada uno representando una red neuronal, se puedan organizar de tal manera que múltiples meta-vértices de supervisor puedan, en conjunto, supervisar múltiples meta-vértices de empleados?
- ¿Por qué la retropropagación de una señal de error es el único equivalente no lineal de la retroalimentación negativa?
- ¿No puede emplearse la colaboración entre meta-vértices en lugar de la supervisión, donde hay dos bordes recíprocos que representan los controles?
- Dado que las redes neuronales se emplean principalmente para el aprendizaje de fenómenos no lineales, ¿por qué prohíbe otros tipos de caminos cerrados en el diseño de las redes o su interconexión?
- ¿Hay alguna razón por la que no se pueda agregar sonido a la imagen para que los videoclips se puedan clasificar automáticamente? Si ese es el caso, ¿es un guión una posible extracción de una película y se puede utilizar una arquitectura de confrontación para generar guiones y producir las películas sin el sistema de estudio de películas? ¿Cómo sería esa topología como un gráfico dirigido?
- Si bien las celdas dispuestas ortogonalmente pueden simular una disposición de empaquetamiento regular arbitraria de vértices y bordes no ortogonales, ¿es eficiente hacerlo en visión por computadora, donde la inclinación de la cámara es diferente a más o menos 90 grados?
- ¿Es eficiente organizar células individuales en redes o redes de células en sistemas de IA ortogonalmente en sistemas de aprendizaje que están dirigidos a la comprensión y ensamblaje del lenguaje natural o cognición artificial?
Notas
Las células artificiales en MLP usan funciones de transferencia aritmética de punto flotante o fijo en lugar de transmisiones de pulso electroquímico basadas en la amplitud y el umbral basado en la proximidad. No son simulaciones realistas de neuronas, por lo que llamar a los vértices neuronas sería un nombre inapropiado para este tipo de análisis.
La correlación de las características de la imagen y los cambios relativos entre píxeles cercanos son mucho más altos que los de píxeles distantes.
Respuestas:
La topología es el estudio de formas geométricas diferenciadas por intersección y bifurcación. El término se utiliza para los aspectos gráficos de las arquitecturas de red. Es apropiado usarlo para considerar la extensión de la analogía de la red neuronal, con el entendimiento de que los ANN no se parecen mucho a las neuronas biológicas en la forma en que se activan. Debido a eso, es difícil limitar la discusión a las preocupaciones topológicas cuando se considera lo que está en gran parte inexplorado.
El paradigma del empleado supervisor es el que usan las pilas y las jerarquías laplacianas, mientras que el paradigma del colaborador es el que usan las redes adversarias. Aunque la retroalimentación es negativa, el modelo generativo (G) y el modelo discriminativo (D) en realidad están en colaboración para lograr una meta, ya que un defensor del diablo se usa en el discurso para converger en las verdades. Ciertamente, hay otros diseños en los que los vértices no son neuronas artificiales, sino elementos completos de ANN o CNN.
Los paradigmas profesor-alumno y supervisor-empleado son probablemente solo dos de muchos. Para simular la plasticidad neuronal, los paradigmas de la planta de jardinero, el reparador de electrodomésticos y el producto de ingeniero necesitan investigación.
La propagación hacia atrás de una señal de error no es el único equivalente no lineal de la retroalimentación negativa. La topología circular de las GAN también es retroalimentación negativa, como indicó en su uso de la analogía de la tira de Möbius. Sin embargo, debería pensarse más en ese sentido.
La colaboración entre meta-vértices es interesante. ¿La colaboración debe ser del tipo de adversario pretendido? ¿Puede la retroalimentación positiva ser útil en topologías de inteligencia artificial? Los propietarios de las granjas y los conductores de camiones de distribución de alimentos compran alimentos en los supermercados que se encuentran al final de una cadena de procesos de los cuales su papel es solo una parte. Los ciclos más grandes en representaciones gráficas dirigidas de topologías y diseños probablemente pueden emplear retroalimentación positiva o negativa de manera útil.
La producción artificial de películas puede surgir de investigaciones como el trabajo de Cornell U en Video Generation From Text: Li, Min, Shen, Carlson y Carin .
fuente
Edge of Chaos and Machine Learning; y beneficios en la toma de decisiones
Respuesta directa a su pregunta : -
Filo del caos
Explicación laica :
( https://www.lucd.ai/post/the-edge-of-chaos# !)
De qué se trata esta respuesta : -
El filo del caos en la teoría del caos podría ser un tema importante de investigación en inteligencia artificial.
¿Cuál es el borde del caos? Se presume que este campo existe dentro de una amplia variedad de sistemas. Tiene muchas aplicaciones en tales campos. Este campo es una zona de transición entre la interacción entre el orden y el desorden.
Estoy interesado en la intersección entre la IA y la teoría del caos. El borde del caos sirve como una topología potencial que está en gran parte inexplorada en el aprendizaje automático.
Este es un campo rico que ofrece mucho potencial. Es, ambos, en gran parte desconocido y subestimado.
Exploraré los beneficios de analizar dicho campo en esta respuesta. Los beneficios se muestran en la toma de decisiones, como la forma óptima de invertir y administrar la mano de obra en una organización.
Explicación técnica : -
Compare eso con este extracto del resumen del artículo a continuación:
-
Los beneficios de estudiar un campo de este tipo :
Lectura adicional : -
Fuentes y referencias : -
fuente
Esto puede estar fuera de tema. Si es así, elimínelo.
En los circuitos electrónicos tenemos bloques lógicos: generadores, disparadores, celdas de memoria, selectores, alus, fpus, buses y muchos otros chips. Y a partir de esto tenemos computadoras, y desde el siguiente nivel tenemos redes de computadoras ...
Para el aprendizaje automático, debemos tener una organización similar de las cosas, pero si tenemos computadoras de 64 bits, nuestras redes neuronales pueden tener entradas / salidas más complejas Y más funciones lógicas que las definidas en cualquier lenguaje de programación.
Entonces, para los bits de entrada X tenemos estados X ^ (2 ^ 2) para un bit de salida, y 2 ^ X bits para elegir una función lógica necesaria.
Por lo tanto, debemos estudiar constantemente estas funciones, destacando las necesarias, como primeros filtros opencv como ejemplos.
fuente