Las redes de Maxout eran una idea simple pero brillante de Goodfellow et al. desde 2013 hasta max mapas de características para obtener un aproximador universal de activaciones convexas. El diseño se diseñó para su uso junto con el abandono (recientemente introducido) y, por supuesto, dio como resultado resultados de vanguardia en puntos de referencia como CIFAR-10 y SVHN.
Cinco años después, la deserción definitivamente sigue en el juego, pero ¿qué pasa con maxout? El documento todavía es ampliamente citado en artículos recientes según Google Scholar, pero parece que casi ninguno está utilizando la técnica.
Entonces, ¿maxout es cosa del pasado? Y si es así, ¿por qué? ¿Qué lo convirtió en uno de los mejores en 2013 pero no en 2018?
deep-learning
dropout
usuario209974
fuente
fuente
Respuestas:
Básicamente, si lee el documento completo (especialmente, el resumen y la sección 7), encontrará que el logro principal sigue siendo una contribución marginal además del abandono.
Si ve los resultados empíricos en la Tabla 5 (de la página 5) del documento original de maxout , encontrará que la tasa de clasificación errónea es muy, muy levemente menor que la de los abandonos. (2.47% en lugar de 2.78%)
Eso podría explicar el relativamente menor interés en el trabajo.
fuente