¿Problemas y alternativas a los enfoques de aprendizaje profundo?

En los últimos 50 años, el aumento / caída / aumento de la popularidad de las redes neuronales ha actuado como una especie de "barómetro" para la investigación de IA.

A partir de las preguntas en este sitio, queda claro que las personas están interesadas en aplicar Deep Learning (DL) a una amplia variedad de problemas difíciles.

Por lo tanto, tengo dos preguntas:

1. Practicantes: ¿cuáles creen que son los principales obstáculos para aplicar DL 'fuera de la caja' a su problema?
2. Investigadores: ¿qué técnicas utilizan (o han desarrollado) que podrían ayudar a abordar problemas prácticos? ¿Están dentro de DL o ofrecen un enfoque alternativo?

Para resumir, hay dos problemas principales en el aprendizaje profundo aplicado.

• El primero es que computacionalmente es exhaustivo. Las CPU normales requieren mucho tiempo para realizar incluso el cómputo / entrenamiento básico con Deep Learning. Sin embargo, se recomiendan las GPU, incluso pueden no ser suficientes en muchas situaciones. Los modelos típicos de aprendizaje profundo no admiten el tiempo teórico para estar en Polinomios. Sin embargo, si observamos los modelos relativamente más simples en ML para las mismas tareas, con demasiada frecuencia tenemos garantías matemáticas de que el tiempo de entrenamiento requerido para tales Algoritmos más simples es en Polinomios. Esto, para mí, al menos es probablemente la mayor diferencia.

  Sin embargo, hay soluciones para contrarrestar este problema. Un enfoque principal es optimizar los Algoritmos DL solo para una serie de iteraciones (en lugar de mirar las soluciones globales en la práctica, simplemente optimice el algoritmo a una buena solución local, mientras que el criterio para "Bueno" lo define el usuario).

• Otro problema que puede ser un poco controvertido para los jóvenes entusiastas del aprendizaje profundo es que los algoritmos de aprendizaje profundo carecen de comprensión y razonamiento teóricos. Las redes neuronales profundas se han utilizado con éxito en muchas situaciones, incluido el reconocimiento de escritura manual, el procesamiento de imágenes, los autos autónomos, el procesamiento de señales, la PNL y el análisis biomédico. En algunos de estos casos, incluso han superado a los humanos. Sin embargo, dicho esto, no son bajo ninguna circunstancia, teóricamente tan sólidos como la mayoría de los métodos estadísticos.

  No entraré en detalles, más bien lo dejo a usted. Hay pros y contras para cada Algoritmo / metodología y DL no es una excepción. Es muy útil, como se ha demostrado en muchas situaciones y cada joven científico de datos debe aprender al menos los conceptos básicos de DL. Sin embargo, en el caso de problemas relativamente simples, es mejor usar métodos estadísticos famosos, ya que tienen muchos resultados teóricos / garantías para respaldarlos. Además, desde el punto de vista del aprendizaje, siempre es mejor comenzar con enfoques simples y dominarlos primero.

Tengo muy poca experiencia con ML / DL para llamarme practicante, pero aquí está mi respuesta a la primera pregunta:

En esencia, DL resuelve bien la tarea de clasificación. No todos los problemas prácticos pueden reformularse en términos de clasificación. El dominio de clasificación debe conocerse por adelantado. Aunque la clasificación se puede aplicar a cualquier tipo de datos, es necesario entrenar al NN con muestras del dominio específico donde se aplicará. Si el dominio se cambia en algún momento, manteniendo el mismo modelo (estructura NN), tendrá que volver a entrenarse con nuevas muestras. Además, incluso los mejores clasificadores tienen "brechas": los ejemplos adversos se pueden construir fácilmente a partir de una muestra de entrenamiento, de modo que los cambios son imperceptibles para los humanos, pero el modelo entrenado los clasifica erróneamente.

Pregunta 2. Estoy investigando si la informática hiperdimensional es una alternativa al aprendizaje profundo. Hyper-D usa vectores de bits muy largos (10,000 bits) para codificar información. Los vectores son aleatorios y, como tales, son aproximadamente ortogonales. Al agrupar y promediar una colección de tales vectores, se puede formar un "conjunto" y luego consultarlo para ver si un vector desconocido pertenece al conjunto. El conjunto puede considerarse un concepto o una imagen generalizada, etc. El entrenamiento es muy rápido como el reconocimiento. Lo que hay que hacer es simular los dominios en los que Deep Learning ha tenido éxito y comparar Hyper-D con él.

Desde el punto de vista matemático, uno de los principales problemas en las redes profundas con varias capas son los gradientes desaparecidos o inestables . Cada capa oculta adicional aprende significativamente más lento, casi anulando el beneficio de la capa adicional.

Los enfoques modernos de aprendizaje profundo pueden mejorar este comportamiento, pero en redes neuronales simples y anticuadas este es un problema bien conocido. Puede encontrar un análisis bien escrito aquí para un estudio más profundo.