¿Debo usar el truco del kernel siempre que sea posible para datos no lineales?

Recientemente aprendí sobre el uso del truco Kernel, que mapea datos en espacios dimensionales superiores en un intento de linealizar los datos en esas dimensiones. ¿Hay algún caso en el que deba evitar usar esta técnica? ¿Es solo una cuestión de encontrar la función correcta del núcleo?

Por supuesto, para los datos lineales esto no es útil, pero para los datos no lineales, esto siempre parece útil. Usar clasificadores lineales es mucho más fácil que no lineal en términos de tiempo de entrenamiento y escalabilidad.

Por supuesto, para los datos lineales esto no es útil, pero para los datos no lineales, esto siempre parece útil. Usar clasificadores lineales es mucho más fácil que no lineal en términos de tiempo de entrenamiento y escalabilidad.

@BartoszKP ya explicó por qué es útil el truco del kernel. Sin embargo, para abordar completamente su pregunta, me gustaría señalar que la kernelización no es la única opción para manejar datos no linealmente separables.

Existen al menos tres buenas alternativas comunes para la delinearización del modelo:

• Métodos basados ​​en redes neutrales, donde agrega una (o más) capas de unidades de procesamiento, capaces de transformar sus datos en el caso separable linealmente. En el caso más simple, es una capa basada en sigmoide, que agrega no linealidad al proceso. Una vez que se inicializan al azar, reciben actualizaciones durante la optimización basada en gradiente de la capa superior (que realmente resuelve el problema lineal).
• En particular, las técnicas de aprendizaje profundo se pueden utilizar aquí para preparar datos para una clasificación lineal adicional. Es una idea muy similar a la anterior, pero aquí primero entrena sus capas de procesamiento para encontrar un buen punto de partida para un ajuste adicional basado en el entrenamiento de algún modelo lineal.
• Proyecciones aleatorias: puede muestrear proyecciones (no lineales) de un espacio predefinido y entrenar un clasificador lineal encima de ellas. Esta idea se explota en gran medida en el llamado aprendizaje automático extremo , donde se utilizan solucionadores lineales muy eficientes para entrenar un clasificador simple en proyecciones aleatorias y lograr un rendimiento muy bueno (en problemas no lineales tanto en clasificación como en regresión, consulte por ejemplo el aprendizaje extremo máquinas ).

En resumen, la kernelización es una gran técnica de delinearización, y puede usarla cuando el problema no es lineal, pero esto no debería ser un "ciego" de aproximación. Este es solo uno de al menos algunos métodos interesantes, que pueden conducir a varios resultados, dependiendo del problema y los requisitos. En particular, ELM tiende a encontrar soluciones muy similares a las dadas por SVM kernelized, mientras que al mismo tiempo se pueden entrenar filas de magnitud más rápido (por lo que se escala mucho mejor que SVM kernelized).

El precio que paga por el truco del kernel en general, por métodos lineales, está teniendo peores límites de generalización. Para un modelo lineal, su dimensión VC también es lineal en términos del número de dimensiones (por ejemplo, la dimensión VC para un Perceptron es d + 1).

Ahora, si va a realizar una transformación no lineal compleja en un espacio de alta dimensión, la dimensión VC de su conjunto de hipótesis es significativamente mayor, ya que ahora es lineal en términos del número de dimensiones en el nuevo espacio de alta dimensión. Y con ello, el límite de generalización aumenta.

Support Vector Machines explota el Kernel Trick de la manera más eficiente, haciendo dos cosas:

• el límite de generalización para los modelos SVM de margen duro está relacionado con el número de vectores de soporte, y para el margen blando está relacionado con la norma del vector de peso, por lo que puede ser irrelevante en el primer caso, y casi irrelevante en el segundo caso . No importa cuán "grande" sea el espacio objetivo del núcleo, no se pierde nada / mucho en términos de generalización (referencias: (i) C. Cortes y V. Vapnik. Redes de vectores de soporte. Aprendizaje automático, 20: 273– 297, 1995 ; (ii) Shawe-Taylor, J .; Cristianini, N., "Sobre la generalización de algoritmos de margen blando", Teoría de la información, IEEE Transactions on, vol.48, no.10, pp.2721,2735, Oct 2002 ).

• Los SVM encuentran el plano de separación que maximiza el margen, y esto simplifica aún más el conjunto de hipótesis (no consideramos todos los planos de separación posibles, solo aquellos que maximizan el margen). El conjunto de hipótesis simple también conduce a mejores límites de generalización (esto está relacionado con el primer punto, pero es más intuitivo).

Intentaré proporcionar una respuesta no técnica a su pregunta.

De hecho, se debe preferir el lineal y debe ser la primera opción por las razones que menciona, el tiempo de entrenamiento, la escalabilidad, además de la facilidad para interpretar el modelo final, la elección de trabajar en primal o dual, más tolerancia al sobreajuste, etc.

Si el modelo lineal no da como resultado un rendimiento satisfactorio, puede probar soluciones no lineales. Algunas compensaciones a considerar incluyen:

• La elección del núcleo. Esto no es obvio, generalmente necesita probar diferentes opciones
• Existe el peligro de sobreajustar el conjunto de entrenamiento. En realidad, es bastante fácil equiparlo si quieres. Para evitar el sobreajuste, necesita un marco de evaluación más sólido (debe medir la varianza / estabilidad del rendimiento en datos no vistos) y necesita datos suficientes para poder realizar la selección de modelo adecuada
• trabaja en dual y, por lo tanto, no puede interpretar el modelo final, es decir, no puede afirmar que la característica X es más importante que la característica Y, etc.
• el tiempo de entrenamiento aumenta con el volumen de datos (menos con la cantidad de características ya que está en el dual)