¿Enfoques al aprender de grandes conjuntos de datos?

Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio):

1. Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos decrecientes: el rendimiento predictivo del modelo a menudo se aplana mucho antes de que se incorporen todos los datos de entrenamiento.
2. Computación en paralelo: divida el problema en partes más pequeñas y resuelva cada una en una máquina / procesador separado. Sin embargo, necesita una versión paralela del algoritmo, pero una buena noticia es que muchos algoritmos comunes son naturalmente paralelos: vecino más cercano, árboles de decisión, etc.

¿Hay otros métodos? ¿Hay alguna regla general cuando usar cada uno? ¿Cuáles son los inconvenientes de cada enfoque?

Stream Mining es una respuesta. También es llamado:

• Minería de flujo de datos
• Aprender en línea

• Aprendizaje masivo en línea

  En lugar de poner todo el conjunto de datos en la memoria y entrenar a partir de él. Ponen trozos de él en la memoria y entrenan clasificadores / grupos a partir de este flujo de trozos. Ver los siguientes enlaces.

• Data_stream_mining de wikipedia.

• MOA: Análisis masivo en línea

  • Artículo
  • Herramienta , escrita en Java, capaz de usar algoritmos weka
  • Libro

• Mining of Massive Datasets Book , de la Universidad de Stanford. Utiliza MapReduce como herramienta.

• Videos en videolectures.net. Buscar videos similares existe en ese sitio.

  • Estado del arte en minería de datos
  • Conjuntos de datos masivos de minería

En lugar de usar solo un subconjunto, podría usar múltiples subconjuntos como en el aprendizaje de mini lotes (por ejemplo, descenso de gradiente estocástico). De esta manera, aún haría uso de todos sus datos.

Conjuntos como embolsado o mezcla: no se desperdician datos, el problema se vuelve automáticamente trivialmente paralelo y puede haber ganancias significativas de precisión / robustez.