¿Cómo saber si los datos son linealmente separables?

Los datos tienen muchas características (por ejemplo, 100) y el número de instancias es como 100,000. Los datos son escasos. Quiero ajustar los datos usando regresión logística o svm. ¿Cómo sé si las características son lineales o no lineales para poder usar el truco del núcleo si no es lineal?

Existen varios métodos para determinar si los datos son linealmente separables, algunos de ellos se destacan en este documento (1). Con la suposición de dos clases en el conjunto de datos, los siguientes son algunos métodos para encontrar si son linealmente separables:

1. Programación lineal: define una función objetivo sujeta a restricciones que satisfacen la separabilidad lineal. Puede encontrar detalles sobre la implementación aquí .
2. Método de perceptrón: se garantiza que un perceptrón converja si los datos son linealmente separables.
3. Programación cuadrática: la función objetivo de optimización de programación cuadrática se puede definir con restricciones como en SVM.
4. Geometría computacional: si uno puede encontrar dos cascos convexos disjuntos, entonces los datos son linealmente separables

5. Método de agrupación: si se pueden encontrar dos agrupaciones con una pureza de agrupación del 100% utilizando algunos métodos de agrupación como k-means, entonces los datos son linealmente separables.

   (1): Elizondo, D., "El problema de la separabilidad lineal: algunos métodos de prueba", en Neural Networks, IEEE Transactions on, vol.17, no.2, pp.330-344, marzo de 2006 doi: 10.1109 / TNN. 2005.860871

Supongo que hablas de un problema de clasificación de 2 clases. En este caso, hay una línea que separa sus dos clases y cualquier algoritmo clásico debería poder encontrarla cuando converja.

En la práctica, tienes que entrenar y probar con los mismos datos. Si existe una línea de este tipo, entonces debe acercarse al 100% de precisión o al 100% de AUC. Si no existe esa línea, la capacitación y las pruebas con los mismos datos generarán al menos algunos errores. Según el volumen de los errores, puede que valga la pena probar un clasificador no lineal.

$$min_{w,b} \space ||w||^2$$ $$s.t \space \forall i, (w'x_{i} + b)y_{i} \ge 1$$

$$min_{s,b} \space s$$ $$s.t \space \forall i, (w'x_{i} + b)y_{i} \ge 1 - s$$ $$s \ge 0$$

$s$$s_i$

Intenta la regresión logística y ve cómo funciona. Si no funciona, hay infinitos núcleos que puede probar, y aún así podría no funcionar.