Métodos en R o Python para realizar la selección de características en el aprendizaje no supervisado [cerrado]

¿Cuáles son los métodos / implementación disponibles en R / Python para descartar / seleccionar características no importantes / importantes en los datos? Mis datos no tienen etiquetas (sin supervisión).

Los datos tienen ~ 100 características con tipos mixtos. Algunos son numéricos mientras que otros son binarios (0/1).

Tiene un año pero todavía siento que es relevante, así que solo quería compartir mi implementación de Python del Análisis de características principales (PFA) como se propuso en el documento al que Charles se vinculó en su respuesta.

from sklearn.decomposition import PCA
from sklearn.cluster import KMeans
from collections import defaultdict
from sklearn.metrics.pairwise import euclidean_distances
from sklearn.preprocessing import StandardScaler

class PFA(object):
    def __init__(self, n_features, q=None):
        self.q = q
        self.n_features = n_features

    def fit(self, X):
        if not self.q:
            self.q = X.shape[1]

        sc = StandardScaler()
        X = sc.fit_transform(X)

        pca = PCA(n_components=self.q).fit(X)
        A_q = pca.components_.T

        kmeans = KMeans(n_clusters=self.n_features).fit(A_q)
        clusters = kmeans.predict(A_q)
        cluster_centers = kmeans.cluster_centers_

        dists = defaultdict(list)
        for i, c in enumerate(clusters):
            dist = euclidean_distances([A_q[i, :]], [cluster_centers[c, :]])[0][0]
            dists[c].append((i, dist))

        self.indices_ = [sorted(f, key=lambda x: x[1])[0][0] for f in dists.values()]
        self.features_ = X[:, self.indices_]

Puedes usarlo así:

import numpy as np
X = np.random.random((1000,1000))

pfa = PFA(n_features=10)
pfa.fit(X)

# To get the transformed matrix
X = pfa.features_

# To get the column indices of the kept features
column_indices = pfa.indices_

Esto sigue estrictamente el algoritmo descrito en el artículo. Creo que el método es prometedor, pero sinceramente, no creo que sea el enfoque más sólido para la selección de funciones sin supervisión. Publicaré una actualización si se me ocurre algo mejor.

El paquete sparcl en R realiza un escaso agrupamiento jerárquico y escaso de K-means. Esto puede ser útil. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2930825/

El análisis de características principales parece ser una solución para la selección de funciones sin supervisión. Se describe en este documento .

He encontrado un enlace que podría ser útil, esas son implementaciones de matlab, pueden funcionar para usted http://www.cad.zju.edu.cn/home/dengcai/Data/MCFS.html es una selección de funciones multiclúster método, puede encontrar una base sólida al respecto en documentos recientes Avíseme si funciona para usted

Hay muchas opciones disponibles en R. Un buen lugar para buscar es el caretpaquete que proporciona una interfaz agradable para muchos otros paquetes y opciones. Puedes echar un vistazo al sitio web aquí . Existen muchas opciones, pero ilustraré una.

Aquí hay un ejemplo del uso de un filtro simple usando los Rconjuntos de datos "mtcars" integrados (que se muestran a continuación).

                   mpg cyl disp  hp drat    wt  qsec vs am gear carb
Mazda RX4         21.0   6  160 110 3.90 2.620 16.46  0  1    4    4
Mazda RX4 Wag     21.0   6  160 110 3.90 2.875 17.02  0  1    4    4
Datsun 710        22.8   4  108  93 3.85 2.320 18.61  1  1    4    1
Hornet 4 Drive    21.4   6  258 110 3.08 3.215 19.44  1  0    3    1

Ahora alguna configuración de código (carga de paquetes, etc.):

# setup a parallel environment
library(doParallel)
cl <- makeCluster(2) # number of cores to use
registerDoParallel(cl)
library(caret)

Y podemos ajustar un modelo simple para seleccionar variables:

fit1 <- sbf(mtcars[, -1], mtcars[, 1],
  sbfControl =
    sbfControl(functions = rfSBF, method = "repeatedcv", repeats = 10)
)

Al ver los resultados, obtenemos:

fit1
Selection By Filter

Outer resampling method: Cross-Validated (10 fold, repeated 10 times) 

Resampling performance:

  RMSE Rsquared RMSESD RsquaredSD
 2.266   0.9224 0.8666     0.1523

Using the training set, 7 variables were selected:
   cyl, disp, hp, wt, vs...

During resampling, the top 5 selected variables (out of a possible 9):
   am (100%), cyl (100%), disp (100%), gear (100%), vs (100%)

On average, 7 variables were selected (min = 5, max = 9)

Finalmente, podemos trazar las variables seleccionadas (en fit1$optVariables) contra el resultado mpg:

library(ggplot2)
library(gridExtra)
do.call(grid.arrange, 
lapply(fit1$optVariables, function(v) {
  ggplot(mtcars, aes_string(x = v, y = "mpg")) +
    geom_jitter()
}))

Resultando en este gráfico:

El nsprcomppaquete R proporciona métodos para un escaso análisis de componentes principales, que podría satisfacer sus necesidades.

Por ejemplo, si cree que sus características generalmente están correlacionadas linealmente y desea seleccionar las cinco principales, puede ejecutar PCA disperso con un máximo de cinco características y limitarlo al primer componente principal:

m <- nsprcomp(x, scale.=T, k=5, ncomp=1)
m$rotation[, 1]

Alternativamente, si desea capturar la naturaleza ortogonal de las funciones, puede seleccionar la función superior de cada una de las cinco PC principales, limitando cada PC a una función:

m <- nsprcomp(x, scale.=T, k=1, ncomp=5)
m$rotation

Un conjunto de estos también podría ser útil; es decir, las características que constantemente llegan a la cima en diferentes métodos pueden explicar una gran cantidad de variación en el espacio de características. Después de jugar nsprcompun poco, parece que los dos primeros métodos elevan ~ 1/2 de las mismas características a la cima. Dicho esto, optimizar este proceso puede ser un esfuerzo empírico.