¿Existe un método opuesto a la reducción de dimensionalidad?

Soy nuevo en el campo del aprendizaje automático, pero he hecho mi parte del procesamiento de señales. Avíseme si esta pregunta se ha etiquetado incorrectamente.

Tengo datos bidimensionales que están definidos por al menos tres variables, con un modelo altamente no lineal demasiado complicado para simular.

He tenido un nivel variable de éxito al extraer los dos componentes principales de los datos utilizando métodos como PCA e ICA (de la biblioteca de Python Scikit-Learn), pero parece que este método (o al menos, esta implementación de los métodos) es limitado para extraer tantos componentes como dimensiones hay en los datos, por ejemplo, 2 componentes de una nube de puntos 2D.

Al trazar los datos, es claro para el ojo entrenado que hay tres tendencias lineales diferentes, las tres líneas de color muestran las direcciones.

trama de datos

Cuando se usa PCA, el componente principal se alinea con una de las líneas de color, y el otro está a 90 °, como se esperaba. Cuando se usa ICA, el primer componente se alinea con la línea azul, y el segundo se encuentra entre los rojos y los verdes. Estoy buscando una herramienta que pueda reproducir los tres componentes en mi señal.

EDITAR, información adicional: estoy aquí trabajando en un pequeño subconjunto de un plano de fase más grande. En este pequeño subconjunto, cada variable de entrada produce un cambio lineal en el plano, pero la dirección y amplitud de este cambio no es lineal y depende de dónde exactamente en el plano más grande en el que estoy trabajando. En algunos lugares, dos de las variables pueden ser degeneradas: producen cambios en la misma dirección. por ejemplo, digamos que el modelo depende de X, Y y Z. Un cambio en la variable X producirá una variación a lo largo de la línea azul; Y provoca una variación a lo largo de la línea verde; Z, a lo largo del rojo.

machine-learning scikit-learn PhilMacKay
fuente

Si entiendo correctamente, el concepto que está buscando es incrustar . Busque métodos de kernel , y PCA de kernel en particular.

Emre

No estoy seguro de esto, así que no lo publicaré como respuesta. En un tipo de modelo de red neuronal, puede mantener la dimensionalidad de la capa oculta> dimensionalidad de la capa de entrada. Luego puede usar la capa oculta como entrada a otra red / modelo. Pero hacerlo requiere muchos datos.

Azrael

Cuando dice datos bidimensionales, definidos por al menos tres variables, ¿en qué sentido utiliza el término 'variable'? ¿Serían las clases una sustitución adecuada? Vale la pena señalar que PCA extrae dimensiones de variantes máximas de los datos, esta no es necesariamente la transformación más discriminatoria para aplicar. ¿Has mirado el agrupamiento?

image_doctor

¿Sabes algo sobre la no linealidad del modelo? Aunque puede ser demasiado complejo para simular, saber que está compuesto de polinomios de grado 3 restringe la ingeniería de características de manera significativa, por ejemplo, podría agregar todas las polis de tercer grado y luego volver a PCA a 3D.

AN6U5

He discutido con un estadístico amigo mío que sugirió usar el kernel PCA en la derivada de mis datos, ya que estoy buscando pendientes. ¿Tomar la derivada cuenta como "ingeniería de características"?

PhilMacKay

La respuesta corta es sí.

Esencialmente, realizarás algún tipo de ingeniería de características. Esto significa construir una serie de funciones de sus datos, a menudo:

$\phi_j(x): \mathbb R^p \rightarrow \mathbb R \ ,\ \ j=1,...,K$

$\boldsymbol \phi(x)$ $K$

Hay varias formas, mejores y peores, de hacer esto. Es posible que desee buscar términos como:

Splines y modelos aditivos generalizados.
$K\rightarrow \infty$
Ingeniería de características (de la variedad manual, por ejemplo, agregar un $x^2$
Aprendizaje profundo, aprendizaje de representación

Como puede suponer por una variedad tan variada de técnicas, esta es un área grande. No hace falta decirlo realmente, pero se debe tener cuidado para evitar el sobreajuste.

Este documento Representation Learning: una revisión y nuevas perspectivas trata algunos de los problemas relacionados con lo que hace que un conjunto particular de características sea 'bueno', desde una perspectiva de aprendizaje profundo.

conjeturas
fuente

¿Existe un método opuesto a la reducción de dimensionalidad?

Respuestas: