¿Es posible entrenar la red neuronal para dibujar en cierto estilo? (Por lo tanto, toma una imagen y la vuelve a dibujar en un estilo para el que fue entrenada).
¿Existe alguna tecnología aprobada para este tipo de cosas? Sé sobre el algoritmo DeepArt. Es bueno llenar la imagen principal con cierto patrón (por ejemplo, imagen de vangoghify), pero estoy buscando algo diferente, es decir, hacer dibujos animados con cierto estilo a partir del retrato de entrada.
Respuestas:
Hay un artículo relevante: LA Gatus, AS Ecker, M Bethge, 2015, A Neural Algorithm of Artistic Style . Citando del resumen,
Aquí está la Figura 2 de este documento:
También hay una implementación de código abierto muy popular basada en la antorcha aquí, que es bastante fácil de usar. Vea el enlace para más ejemplos.
Tenga en cuenta que los cálculos son pesados y, por lo tanto, el procesamiento de imágenes individuales es el alcance de este trabajo.
Editar: después de verificar su proyecto DeepArt mencionado, parece que está utilizando las mismas técnicas. No estoy seguro de por qué esto no es lo que quieres, porque el concepto de transferencia de estilo es tan general como parece.
fuente
Este es un problema bastante difícil de resolver. Puede ver algunos ejemplos aquí sobre cómo se ha aplicado un estilo de dibujos animados, por ejemplo, del Simpson a una imagen.
Una imagen de dibujos animados generalmente no tiene la estructura que le da este efecto artístico . La forma más fácil de tratar de aplicar esto de alguna manera sería tener un rastreador de rostros y luego tratar de alinear dos caras, por ejemplo, una caricatura y una cara humana, y luego aplicar esto. Eso podría llevarte a algún lado, pero también podría parecer extraño. Luego, puede anotar puntos de referencia en las imágenes para ayudar más y hacer un registro no rígido antes de esto. Esto sigue siendo una solución de mierda, pero lo más parecido que puedo pensar es que podría funcionar para caras.
Editar:
El comentario de @TannerSwett agrega algo a esto, es posible ir a las páginas web de algunos artistas e intentar encontrar sus ilustraciones y tratar de aprender "su" estilo. Todavía no creo que eso sea satisfactorio o que arroje suficientes datos, pero sería algo interesante de probar. No hay una solución generalmente disponible en este momento, pero creo que definitivamente hay algunas personas trabajando en esto, y pronto veremos mejores resultados.
Creo que tal vez el camino a seguir no es el enfoque artístico de la red neuronal. Tal vez sea mejor tener una red que pueda clasificar objetos en una imagen y luego aprender las correspondencias entre los objetos y sus contrapartes de dibujos animados, luego combinar los resultados de una manera significativa.
fuente
No debería ser demasiado complicado de hacer. No he leído el artículo mencionado, aquí está mi receta:
Básicamente, esto le brinda una forma de parametrizar el 'estilo' en su caso, por ejemplo, cuán ancho o borroso debe ser el trazo del pincel. Cosas que dependen del estilo particular que intentes emular.
En el ejemplo anterior, diferentes caras 'transformadas' o 'imaginadas' son función de los parámetros en el espacio latente. En la imagen a continuación, eso sería lo que obtienes al cambiar cosas en el nivel de 'código'.
Aquí está la idea básica: imagen original a la izquierda, versión estilizada de la misma imagen a la derecha:
Ahora, en teoría, si entrenara un modelo de este tipo en una imagen normal y una imagen estilizada como objetivo y añadiera circunvoluciones, debería poder aprender los filtros del núcleo que corresponden al tipo de "pinceladas" que utiliza el artista .
Por supuesto, eso significa que necesita tener algunos ejemplos de imágenes en versiones originales y estilizadas. Tal conjunto de datos sería bueno para donar a la comunidad; si terminas haciendo esto, me encantaría ver este tipo de trabajo.
¡Buena suerte!
El artículo wiki sobre codificadores automáticos sería un buen punto de partida: https://en.wikipedia.org/wiki/Autoencoder
fuente