¿Cómo elegir las características para una red neuronal?

16

Sé que no hay una respuesta clara para esta pregunta, pero supongamos que tengo una gran red neuronal, con muchos datos y quiero agregar una nueva característica en la entrada. La "mejor" forma sería probar la red con la nueva función y ver los resultados, pero ¿existe algún método para probar si la función NO ES ÚTIL? ¿Como medidas de correlación ( http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf ), etc.?

machine-learning neural-network feature-selection feature-extraction marcodena
fuente
1
Una correlación no aleatoria podría ser un indicador de que la función es útil. Pero no estoy tan seguro acerca de las pruebas previas al entrenamiento que podrían descartar ideas. El documento que vincula deja en claro que las pruebas disponibles no detectan correctamente las correlaciones no lineales, pero una red neuronal tiene la posibilidad de encontrarlas y utilizarlas.
Neil Slater

Respuestas:

16

Una correlación muy fuerte entre la nueva característica y una característica existente es una señal bastante buena de que la nueva característica proporciona poca información nueva. Es probable que sea preferible una baja correlación entre la nueva característica y las características existentes.

Una fuerte correlación lineal entre la nueva característica y la variable predicha es una buena señal de que una nueva característica será valiosa, pero la ausencia de una alta correlación no es necesariamente una señal de una característica pobre, porque las redes neuronales no están restringidas a combinaciones lineales. de variables.

Si la nueva característica se creó manualmente a partir de una combinación de características existentes, considere dejarla fuera. La belleza de las redes neuronales es que se requiere poca ingeniería de características y preprocesamiento: las capas intermedias aprenden las características. Siempre que sea posible, prefiera las funciones de aprendizaje a diseñarlas.

Madison May
fuente
Siempre pensé en comparar el valor para predecir con las características, estás hablando de la correlación entre las características. ¿Su respuesta es aplicable también a mi caso? en teoría debería agregar solo nuevas características que estén correlacionadas con el valor a predecir, ¿verdad?
marcodena
Esa también es una métrica valiosa: acabo de actualizar mi respuesta para abordar eso también.
Madison May
En resumen, las correlaciones fuertes con el valor a predecir son una gran señal, pero la correlación débil con el valor a predecir no es necesariamente una mala señal.
Madison May
Gracias. Estoy escribiendo un informe y quería mostrar las correlaciones lineales / no lineales para justificar las características (incluso antes de los resultados). ¿Tiene algún sentido? A partir de su respuesta, podría hacer una matriz de correlaciones, pero tal vez sea nosense
marcodena
1
Usaría
0

Si está utilizando sklearn, hay una buena función disponible llamada model.feature_importances_. Pruébelo con su modelo / nueva característica y vea si ayuda. También mira aquí y aquí para ver ejemplos.

Aniket
fuente