¿Ingeniería de características agnósticas de dominio que conserva el significado semántico?

12

La ingeniería de características es a menudo un componente importante para el aprendizaje automático (se utilizó mucho para ganar la Copa KDD en 2010 ). Sin embargo, creo que la mayoría de las técnicas de ingeniería de características

  • destruir cualquier significado intuitivo de las características subyacentes o
  • son muy específicos para un dominio particular o incluso tipos particulares de características.

Un ejemplo clásico de lo primero sería el análisis de componentes principales. Me parece que cualquier conocimiento que un experto en la materia tenga sobre las características se destruiría al convertir esas características en componentes principales.

Compare eso con una técnica simple de convertir una fecha en características para "día del mes" y "día de la semana". El significado subyacente aún se conserva en las nuevas características, pero obviamente esta técnica en particular solo se aplica a fechas y no a características arbitrarias.

¿Existe algún cuerpo estándar de técnicas de ingeniería de características que no destruyan el significado de las características subyacentes y sean aplicables a dominios arbitrarios (o al menos a una amplia variedad de dominios)?

predictive-models feature-selection feature-construction Michael McGowan
fuente
2
PCA a veces se puede utilizar para encontrar significados intuitivos para las características, por ejemplo, caras propias .
tdc
¿Puedes dar (más) ejemplos de los datos que tienes en mente? Si puede ser más específico acerca de su aplicación (incluso algún ejemplo arbitrario), será más fácil dar una respuesta (más) precisa.
Dov
1
@Dov Bueno, el punto es que (idealmente) me gustaría algo que podría funcionar para casi cualquier conjunto de datos estructurado y tabular (uno que tenga puntos de datos y características). Así que esto podría ser datos de ventas, datos financieros, datos de descubrimiento de drogas, datos de béisbol, etc.
Michael McGowan

Respuestas:

7

Soy consciente de un método de descomposición (pero tal vez hay más ...) que pueden ser útiles en un escenario como el que usted describe. Es como 2D-PCA: un método de descomposición de alto orden en el que la descomposición (es decir, los factores) tienen algún significado. Puede ver ejemplos y leer sobre esto aquí y aquí e intente aquí

Dov
fuente
+ por favor perdóname porque no soy un hablante nativo de inglés :)
Dov
Por lo que me dijeron, el último paso de la PCA debería ser intentar encontrar significado para el componente básico.
jb.
5

Los métodos recientes de aprendizaje profundo que utilizan la máquina de Boltzmann restringida han mostrado buenas características en varios tipos de datos (audio, imágenes, texto).

Dado que estos métodos crean un modelo generativo, a menudo puede generar muestras realmente agradables a partir del modelo.

Echa un vistazo a las publicaciones de Hinton. http://www.cs.toronto.edu/~hinton/

Estos métodos no son totalmente generales (ejecutan el mismo código en todos los datos), pero el modelo subyacente suele ser similar.

Corrió
fuente