Selección de parámetros para algoritmo genético.

¿Cómo se puede seleccionar el número adecuado de parámetros para que un algoritmo genético modele un sistema dado?

Por ejemplo, supongamos que desea optimizar la producción de automóviles, y tiene 1,000 mediciones de eficiencia por hora en diversas tareas para cada uno de 1,000 empleados diferentes. Entonces, tienes 1,000,000 de puntos de datos. Es probable que la mayoría de estos se correlacionen débilmente con la eficiencia general de su fábrica, pero no tan débilmente que pueda decir que son irrelevantes con la confianza estadística. ¿Cómo hace para elegir entradas para su AG de modo que no tenga más de 1,000,000 de grados de libertad, lo que resulta en una convergencia muy lenta o ninguna convergencia?

Específicamente, ¿cuáles son los algoritmos que uno podría usar para preseleccionar o eliminar selectivamente las características?

Un enfoque que he utilizado en este escenario es evolucionar la selección de parámetros en sí, por lo que podría tener padres como {a,b,c}, {b,d,e,q,x,y,z}etc. Luego mutaría a los niños para agregar o quitar funciones. Esto funciona bien para algunas docenas de funciones. Pero el problema es que es ineficiente si hay una gran cantidad de grados de libertad. En ese caso, está buscando 10^ncombinaciones (en el ejemplo anterior 10^1,000,000), lo que hace que el filtrado previo de las características sea crítico para obtener cualquier tipo de rendimiento útil.

En primer lugar, el ejemplo no parece adecuado porque probablemente usaría alguna regresión o métodos clásicos de ML para resolver esto. En segundo lugar, se refiere a un problema general de selección de características (Kira, Rendell, 1992) o selección de atributos (Hall, Holmes, 2003) o selección de variables (Guyon, Elisseeff, 2003) o selección de subconjunto variable (Stecking, Schebesch, 2005) o extracción de características (Hillion, Masson, Roux, 1988) o reducción de dimensionalidad (Roweis, Saul, 200) o abstracción de estado (Amarel, 1968). Este problema es relevante no solo para los algoritmos genéticos, sino para casi todas las técnicas de aprendizaje automático cuando se trata de datos de alta dimensión.

Aquí se pueden distinguir tres casos: la última instancia de este problema, conocida como abstracción de estado, generalmente está relacionada con el modelado de procesos (que se adapta a su ejemplo, pero no al contexto de GA). Los primeros tres, es decir , la selección de características , la selección de atributos o la selección de variables, parecen ser los más relevantes al tomar su pregunta literalmente. En este contexto, una solución común es el enfoque mRMR (Peng, Long, Ding, 2005) . Desde mi experiencia, no siempre funciona bien con datos continuos; sin embargo, la información mutua puede sustituirse por otros coeficientes, como la correlación, por ejemplo. Otro enfoque posible es utilizar la validación cruzada (Picard, Cook, 1984)para esto. Puede tener varios modelos, cada uno con diferentes características, y mediante la selección de modelos con técnicas de validación cruzada, puede elegir el mejor modelo, que le brinda la información sobre qué características funcionan mejor para la tarea dada.

Los casos de extracción de características y reducción de dimensionalidad permiten no solo seleccionar características iniciales, sino también sus combinaciones. Una solución de ejemplo bien conocida para este caso es el algoritmo PCA (Pearson, 1901) , que produce el conjunto óptimo, en términos de varianza explicada, de combinaciones lineales de características de entrada.

También tenga en cuenta que hay muchos modelos que manejan la tarea de extracción de características por sí mismos. Algunos ejemplos son: Growing Neural Gas Network (Fritzke, 1995) , LASSO (Tibshirani, 2011) , RFE SVM (Zeng, Chen, Tao, 2009) , Decision Trees (Quinlan, 1986) .

Referencias

• Kenji Kira y Larry A. Rendell. 1992. Un enfoque práctico para la selección de características. En Actas del noveno taller internacional sobre aprendizaje automático (ML92), Derek Sleeman y Peter Edwards (Eds.). Morgan Kaufmann Publishers Inc., San Francisco, CA, EE. UU., 249-256.

• Hall, MA; Holmes, G., "Técnicas de selección de atributos de evaluación comparativa para la minería de datos de clase discreta", Ingeniería de conocimiento y datos, Transacciones IEEE, vol.15, no.6, pp.1437,1447, noviembre-diciembre. 2003

• Isabelle Guyon y André Elisseeff. 2003. Una introducción a la selección de variables y características. J. Mach. Aprender. Res. 3 (marzo de 2003), 1157-1182.

• Ralf Stecking, Klaus B. Schebesch. 2005. Selección de subconjunto variable para calificación crediticia con máquinas de vectores de soporte, Procedimientos de investigación de operaciones 2005, Springer Berlin Heidelberg, (2005), pp.251-256

• Hillion, A .; Masson, P .; Roux, C., "Un enfoque no paramétrico para la extracción de características lineales; aplicación a la clasificación de texturas sintéticas binarias", Pattern Recognition, 1988., 9th International Conference on, vol., No., Pp.1036,1039 vol.2, 14 -17 nov 1988

• Reducción de dimensionalidad no lineal mediante incrustación localmente lineal. Sam Roweis y Lawrence Saul. Science, v.290 no.5500, 22 de diciembre de 2000. pp.2323--2326.

• Amarel, S. (1968). Sobre representaciones de problemas de razonamiento sobre acciones, Machine Intelligence, (3), 131-171

• Peng, H .; Fulmi Long; Ding, C., "Selección de características basada en criterios de información mutua de dependencia máxima, relevancia máxima y redundancia mínima", Análisis de patrones e inteligencia de máquina, Transacciones IEEE, vol.27, no.8, pp.1226, 1238, agosto de 2005

• Richard R. Picard y R. Dennis Cook, Revista de la Asociación Americana de Estadística, vol. 79, núm. 387 (septiembre de 1984), págs. 575-583

• En líneas y planos de ajuste más cercano a sistemas de puntos en el espacio Philosophical Magazine, vol. 2, núm. 6. (1901), págs. 559-572 por K. Pearson

• Una red de gas neuronal en crecimiento aprende topologías, Bernd Fritzke, Conferencia: Sistemas de procesamiento de información neuronal - NIPS, págs. 625-632, 1994

• Contracción y selección de la regresión a través del lazo: una retrospectiva, Robert Tibshirani, Revista de la Royal Statistical Society Series B, 2011, vol. 73, número 3, páginas 273-282

• Xiangyan Zeng; Yen-wei Chen; Caixia Tao; Van Alphen, D., "Selección de funciones mediante la eliminación de funciones recursivas para el reconocimiento de dígitos escritos a mano," Ocultación inteligente de información y procesamiento de señales multimedia, 2009. IIH-MSP '09. Quinta Conferencia Internacional sobre, vol., No., Pp.1205,1208, 12-14 de septiembre de 2009

• JR Quinlan. 1986. Inducción de árboles de decisión. Mach. Aprender. 1, 1 (marzo de 1986), 81-106.

Nunca he hecho esto antes, y obviamente no tengo acceso a dichos datos, pero una forma potencialmente buena de hacerlo sería a través de la agrupación . Para cada empleado, tenemos un vector n-dimensional, donde cada dimensión responde a una tarea diferente. Luego, podemos usar la agrupación para agrupar empleados "similares"; sin embargo, esto dependerá únicamente de sus datos, es decir, es muy posible que con solo 1000 empleados, la agrupación produzca grupos de empleados que no estén realmente tan relacionados, por lo que si bien podemos obtener una reducción en la población, puede ser a expensas de la pérdida de información.