Hice mi tesis de maestría sobre modelos generativos profundos y actualmente estoy buscando un nuevo tema.
P: ¿Cuáles son los temas de investigación "más candentes" que están llamando mucho la atención de la comunidad de aprendizaje profundo últimamente?
Algunas aclaraciones:
- Revisé preguntas similares y ninguna de ellas respondió mi pregunta.
- Vengo de una base matemática pura, solo hice la transición al aprendizaje profundo hace un año, y mi investigación sobre modelos generativos fue principalmente teórica. Lo que significa que la mayor parte de mi trabajo giraba en torno a modelos probabilísticos estructurados y una inferencia aproximada. Dicho esto, todavía tengo que explorar las aplicaciones del mundo real del aprendizaje profundo.
- Hice mi tarea antes de plantear la pregunta. Mi objetivo era obtener la opinión de ai SE sobre el asunto y ver en qué están trabajando las personas.
deep-learning
ai-field
Achraf Oussidi
fuente
fuente
Respuestas:
Los temas candentes de hoy podrían ser las frías y húmedas cenizas del mañana. Por ejemplo, la velocidad de convergencia de los enfoques CNN y LSTM, especialmente en combinación, ha desviado considerable atención de los diseños básicos de RNN.
Del mismo modo, los temas fríos de hoy podrían ser las brasas ardientes del mañana. Por supuesto, algunos de los temas fríos se mantendrán fríos. El punto óptimo puede ser identificar aquellos que se están calentando y es probable que sean bloques de construcción sostenibles para la tecnología futura.
Redes de atención residual
Las redes de atención residual, como las redes LSTM, son una mejora sobre las RNN que utilizan un enfoque diferente. Debido a que las redes de atención están diseñadas para conservar recursos, convergen más rápido o con menos demanda de hardware y red para soportar la ejecución paralela.
Desarrollo automatizado de modelos no cartesianos
La investigación sobre la automatización del modelado es clave para muchas aplicaciones de IA. Algunos de los algoritmos en desarrollo no solo extraen tensores de características (matrices, matrices, cubos e hipercubos), sino que desarrollan modelos gráficos, dirigidos o asociativos, con o sin ciclos permitidos.
Topologías de señal que admiten equilibrios
Muchos ignoran la importancia de las GAN, no porque puedan hacer cosas interesantes con las imágenes, sino por cómo se desvían de la topología simple de la ruta de señal donde se logra la convergencia en un conjunto entrenado de parámetros sobre una matriz unidimensional de capas y bloques de capas.
Los componentes discriminativos y generativos en el diseño de GAN se describen con cierto detalle en otra pregunta de AI Stack Exchange sobre * Comprender la función de pérdida de GAN . Aunque la generación de imágenes del enfoque GAN y sus elementos conceptuales demuestran una nueva capacidad en el espacio de la red artificial, la amplitud de este significado de redes múltiples puede no ser obvia de inmediato. No es una pila en profundidad de capas, sino una pila de dos redes profundas en una topología de figura ocho, conceptualmente muy parecida a una tira de Möbius.
Esta topología crea un equilibrio entre dos redes, la generativa (G) y la discriminativa (D). Su diseñador lo calificó como una relación de confrontación porque G y D juegan papeles opuestos. Sin embargo, su acción en el sistema es realmente colaborativa, creando un equilibrio que es muy parecido a un equilibrio químico o simbiosis en biología, de modo que se logra un objetivo específico. Esto puede revelar la dirección más prometedora en la IA de hoy.
Diseñar topologías de señal que admitan formas adicionales de colaboración y simbiosis entre redes, donde cada red es un componente que aprende su rol junto con otras redes componentes, de modo que el sistema agregado aprenda que su función puede sintetizar formas de inteligencia artificial que los DNN no pueden.
Los sistemas basados en reglas y las redes profundas son unidimensionales en términos de flujo de señal. Por sí mismos puede que nunca se aproximen a las características más notables del cerebro humano.
Procesamiento en paralelo utilizando GPU como DSP
Las implementaciones VLSI de las redes de picos son importantes, y ahora hay implementaciones como https://github.com/Hananel-Hazan/bindsnet que aprovechan la aceleración de hardware de la GPU para investigarlas sin acceso a los chips VLSI que están desarrollando grandes corporaciones.
Reconocimiento y síntesis de voz para TTS de extremo a extremo
La reciente aparición de la excelencia en síntesis utilizando sistemas como WaveNet de Google ha abierto la puerta a aplicaciones TTS (texto a sonido) más precisas, de modo que probablemente sea un buen momento para convertirse en un experto en grabación de voz para usar en conjuntos de ejemplos de capacitación, pero un mal momento para comenzar una casa de producción de discursos personalizados con altavoces en vivo.
Vehículos automatizados
Los vehículos automatizados de varios tipos necesitan expertos en física de vehículos, fabricación de automóviles, aeronáutica y productos de consumo para una amplia gama de tipos de vehículos con fuertes incentivos económicos y de seguridad que conducen la semiautomatización y la automatización completa.
Resumen
Puede ser difícil descubrir de antemano qué tecnologías avanzadas en IA seguirán siendo dominantes en cinco años o cuáles de las tecnologías de calentamiento estarán ardiendo en ese momento, pero las anteriores son tecnologías sólidas que muestran una promesa temprana significativa y para las cuales existen grandes negocios, demandas industriales y de consumo.
fuente
Bueno, ciertamente hay muchas áreas en las que puedes contribuir en la investigación. Dado que usted dice que realizó una Tesis de Maestría en modelos generativos profundos, supongo que se siente cómodo en Machine and Deep Learning.
La Epidemiología digital es una de las áreas donde ciertamente puede aplicar el aprendizaje profundo. Todavía es un campo relativamente nuevo en comparación con otras ramas de la biología computacional. Un ejemplo sería ver el impacto del registro digital en línea en la predicción y la mayor prevalencia de enfermedades.
Dicho registro en línea se puede recibir de diferentes motores de búsqueda, sitios de redes sociales y, a veces, agencias gubernamentales. Por ejemplo, puede ver aquí un ejemplo del término de búsqueda "Cáncer de piel" y el registro correspondiente muestra el interés de este término en todo el mundo, estos datos se pueden utilizar para encontrar nuevas hipótesis. Por ejemplo, si los datos muestran que tenemos más interés de una región específica del mundo / país, eso puede mostrar que la enfermedad específica es más común en esa región / parte / país del mundo. Se pueden construir, dibujar y probar hipótesis similares. Y, por supuesto, el aprendizaje profundo puede mejorar la precisión de los modelos tradicionales utilizados en la validación de tales hipótesis.
Otra área interesante de investigación puede ser la comparación de redes neuronales a corto y largo plazo con los modelos tradicionales de series de tiempo. No creo que exista una investigación madura en esta área. Quizás puedas comenzar desde este buen blog aquí .
El procesamiento de señales puede ser otra área muy interesante y también muy práctica para construir y validar teorías sobre los modelos de Deep Learning. Sin embargo, las matemáticas en el procesamiento de señales pueden ser bastante difíciles de obtener. Sin embargo, todas estas opciones requerirán que trabajes en un equipo con personas de los dominios específicos. Eso es si quieres producir una investigación de alta calidad.
Otras áreas pueden ser PNL, especialmente el caso de la traducción de idiomas del hindi al urdu o persa, marketing digital en línea, ciencias del comportamiento, fabricación e inversión. Las áreas específicas de investigación pueden mejorar aún más si conoce a expertos de estos campos.
fuente