Cómo hacer análisis de datos exploratorios para elegir el algoritmo de aprendizaje automático apropiado

Estamos estudiando el aprendizaje automático a través del aprendizaje automático: una perspectiva probabilística (Kevin Murphy). Si bien el texto explica la base teórica de cada algoritmo, rara vez dice en qué caso qué algoritmo es mejor, y cuando lo hace, no dice cómo saber en qué caso estoy.

Por ejemplo, para la elección del kernel, me dijeron que hiciera un análisis de datos exploratorio para evaluar la complejidad de mis datos. En datos bidimensionales simples, puedo trazar y ver si un núcleo lineal o radial es apropiado. ¿Pero qué hacer en la dimensión superior?

En términos más generales, ¿qué quieren decir las personas cuando dicen "conocer sus datos" antes de elegir un algoritmo? En este momento solo puedo distinguir el algoritmo de clasificación vs regresión, y el algoritmo lineal versus no lineal (que no puedo verificar).

EDITAR: Aunque mi pregunta original es sobre la regla general, me han pedido que brinde más información sobre mi problema particular.

Datos: un panel con cada fila siendo un país-mes (~ 30,000 filas en total, cubriendo ~ 165 países durante ~ 15 años).

Respuesta: 5 variables binarias de interés (es decir, si la protesta / golpe / crisis, etc. suceden en ese mes).

Características: ~ 400 variables (una combinación de continuo, categórico, binario) que detalla un conjunto de características de los 2 meses-país anteriores (se puede crear un retraso más largo). Solo usamos variables rezagadas ya que el objetivo es la predicción.

Los ejemplos incluyen, tipo de cambio, crecimiento del PIB (continuo), nivel de prensa libre (categórico), democracia, si el vecino tiene conflicto (binario). Tenga en cuenta que muchas de estas 400 características son variables rezagadas.

Esta es una pregunta amplia sin una respuesta simple. En CMU enseñé un curso de 3 meses sobre este tema. Cubrió temas como:

1. Usar proyecciones para comprender la correlación entre variables y la estructura distributiva general.
2. Cómo construir un modelo de regresión modelando sucesivamente residuos.
3. Determinar cuándo agregar términos de interacción no lineal a un modelo lineal.
4. Cómo decidir entre knn vs. un árbol de decisión vs. un clasificador logístico. Revisé una serie de conjuntos de datos UCI y mostré cómo se podía saber qué clasificador ganaría antes de ejecutarlos.

Lamentablemente, no hay video o libro de texto para el curso, pero di una charla que resume los puntos principales de la clase. No conozco ningún libro de texto que cubra el mismo terreno.

Hay algunas cosas que puede verificar en sus datos.

1 - correlation between variables
2 - categorical variables or continuous variables?
3 - relation between number of samples and number of variables
4 - are the samples independent or is it a time series? 

De acuerdo con estos puntos y con el tipo de información que desea extraer de sus datos, puede decidir qué algoritmo usar.