Me gustaría entrenar un SVM para clasificar casos (VERDADERO / FALSO) basado en 20 atributos. Sé que algunos de esos atributos están altamente correlacionados. Por lo tanto, mi pregunta es: ¿SVM es sensible a la correlación o redundancia entre las características? Alguna referencia?
svm
multicollinearity
kernel-trick
usuario7064
fuente
fuente
Respuestas:
Núcleo lineal: el efecto aquí es similar al de la multicolinealidad en la regresión lineal. Es posible que su modelo aprendido no sea particularmente estable frente a pequeñas variaciones en el conjunto de entrenamiento, porque diferentes vectores de peso tendrán salidas similares. Sin embargo, las predicciones del conjunto de entrenamiento serán bastante estables, por lo que probarán las predicciones si provienen de la misma distribución.
Kernel RBF: el kernel RBF solo mira las distancias entre los puntos de datos. Por lo tanto, imagine que en realidad tiene 11 atributos, pero uno de ellos se repite 10 veces (un caso bastante extremo). Entonces ese atributo repetido contribuirá 10 veces más a la distancia que cualquier otro atributo, y el modelo aprendido probablemente se verá mucho más afectado por esa característica.
Una forma sencilla de descontar las correlaciones con un núcleo RBF es utilizar la distancia de Mahalanobis: , donde es un Estimación de la matriz de covarianza muestral. De manera equivalente, asigne todos sus vectores a y luego use el núcleo RBF regular, donde es tal que , por ejemplo, la descomposición de Cholesky de .d(x,y)=(x−y)TS−1(x−y)−−−−−−−−−−−−−−−√ S x Cx C S−1=CTC S−1
fuente