¿Aprendizaje en línea versus fuera de línea?

¿Cuál es la diferencia entre el aprendizaje fuera de línea y en línea ? ¿Es solo una cuestión de aprender sobre todo el conjunto de datos (sin conexión) versus aprender de forma incremental (una instancia a la vez)? ¿Cuáles son ejemplos de algoritmos utilizados en ambos?

El aprendizaje en línea significa que lo está haciendo cuando entran los datos. Fuera de línea significa que tiene un conjunto de datos estático.

Entonces, para el aprendizaje en línea, usted (típicamente) tiene más datos, pero tiene limitaciones de tiempo. Otra arruga que puede afectar el aprendizaje en línea es que sus conceptos pueden cambiar con el tiempo.

Supongamos que desea crear un clasificador para reconocer el correo no deseado. Puede adquirir un gran corpus de correo electrónico, etiquetarlo y entrenar a un clasificador en él. Esto sería aprendizaje fuera de línea. O bien, puede tomar todo el correo electrónico que ingresa a su sistema y actualizar continuamente su clasificador (las etiquetas pueden ser un poco complicadas). Esto sería aprendizaje en línea.

El término "en línea" está sobrecargado y, por lo tanto, causa confusión en el dominio del aprendizaje automático.

Lo contrario de "en línea" es el aprendizaje por lotes. En el aprendizaje por lotes, el algoritmo de aprendizaje actualiza sus parámetros después de consumir todo el lote, mientras que en el aprendizaje en línea, el algoritmo actualiza sus parámetros después de aprender de 1 instancia de entrenamiento. El mini aprendizaje por lotes es el punto medio entre el aprendizaje por lotes en un extremo y el aprendizaje en línea en el otro extremo.

Además, "cuándo" entran los datos, o si pueden almacenarse o no, es ortogonal al aprendizaje en línea o por lotes.

Se considera que el aprendizaje en línea es más lento para converger a un mínimo, en comparación con el aprendizaje por lotes. Sin embargo, en los casos en que todo el conjunto de datos no cabe en la memoria, el uso del aprendizaje en línea es una compensación aceptable.

Aprendizaje en línea (también llamado aprendizaje incremental ): consideramos una sola presentación de los ejemplos. En este caso, cada ejemplo se usa secuencialmente de la manera prescrita por el algoritmo de aprendizaje, y luego se descarta. Los cambios de peso realizados en una etapa determinada dependen específicamente solo del ejemplo (actual) que se presenta y posiblemente del estado actual del modelo. Es el procedimiento natural para reglas que varían en el tiempo donde los ejemplos pueden no estar disponibles de una vez.

Aprendizaje fuera de línea : los cambios de peso dependen de todo el conjunto de datos (entrenamiento), que define una función de costo global. Los ejemplos se usan repetidamente hasta que se logra la minimización de esta función de costo.