¿Cuáles son los diferentes casos de uso de joblib versus pickle?

Antecedentes: recién estoy comenzando con scikit-learn, y leo al final de la página sobre joblib, versus pickle .

puede ser más interesante usar el reemplazo de pickle de joblib (joblib.dump & joblib.load), que es más eficiente en big data, pero solo puede hacer pickle en el disco y no en una cadena

Leí estas preguntas y respuestas sobre Pickle, casos de uso comunes para pickle en Python y me pregunto si la comunidad aquí puede compartir las diferencias entre joblib y pickle. ¿Cuándo debería uno usar uno sobre otro?

• joblib suele ser significativamente más rápido en matrices numpy grandes porque tiene un manejo especial para los búferes de matriz de la estructura de datos numpy. Para conocer los detalles de la implementación, puede consultar el código fuente . También puede comprimir esos datos sobre la marcha durante el decapado con zlib o lz4.
• joblib también hace posible mapear en memoria el búfer de datos de una matriz numpy sin comprimir con picking de joblib al cargarla, lo que hace posible compartir memoria entre procesos.
• Si no selecciona encurtidos grandes matrices numpy, entonces el encurtido regular puede ser significativamente más rápido, especialmente en grandes colecciones de pequeños objetos de Python (por ejemplo, un gran dict de objetos str) porque el módulo pickle de la biblioteca estándar se implementa en C mientras que joblib es pitón puro.
• Dado que PEP 574 (protocolo Pickle 5) se ha fusionado en Python 3.8, ahora es mucho más eficiente (en cuanto a memoria y en cpu) seleccionar matrices de gran tamaño utilizando la biblioteca estándar. Las matrices grandes en este contexto significan 4 GB o más.
• Pero joblib aún puede ser útil con Python 3.8 para cargar objetos que tienen matrices numpy anidadas en modo mapeado en memoria con mmap_mode="r".

¡Gracias a Gunjan por darnos este script! Lo modifiqué para los resultados de Python3

#comapare pickle loaders
from time import time
import pickle
import os
import _pickle as cPickle
from sklearn.externals import joblib

file = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'database.clf')
t1 = time()
lis = []
d = pickle.load(open(file,"rb"))
print("time for loading file size with pickle", os.path.getsize(file),"KB =>", time()-t1)

t1 = time()
cPickle.load(open(file,"rb"))
print("time for loading file size with cpickle", os.path.getsize(file),"KB =>", time()-t1)

t1 = time()
joblib.load(file)
print("time for loading file size joblib", os.path.getsize(file),"KB =>", time()-t1)

time for loading file size with pickle 79708 KB => 0.16768312454223633
time for loading file size with cpickle 79708 KB => 0.0002372264862060547
time for loading file size joblib 79708 KB => 0.0006849765777587891

Me encontré con la misma pregunta, así que probé esta (con Python 2.7) ya que necesito cargar un archivo pickle grande

#comapare pickle loaders
from time import time
import pickle
import os
try:
   import cPickle
except:
   print "Cannot import cPickle"
import joblib

t1 = time()
lis = []
d = pickle.load(open("classi.pickle","r"))
print "time for loading file size with pickle", os.path.getsize("classi.pickle"),"KB =>", time()-t1

t1 = time()
cPickle.load(open("classi.pickle","r"))
print "time for loading file size with cpickle", os.path.getsize("classi.pickle"),"KB =>", time()-t1

t1 = time()
joblib.load("classi.pickle")
print "time for loading file size joblib", os.path.getsize("classi.pickle"),"KB =>", time()-t1

La salida para esto es

time for loading file size with pickle 1154320653 KB => 6.75876188278
time for loading file size with cpickle 1154320653 KB => 52.6876490116
time for loading file size joblib 1154320653 KB => 6.27503800392

Según este joblib funciona mejor que el módulo cPickle y Pickle de estos 3 módulos. Gracias