Conversión de Django QuerySet a pandas DataFrame

Voy a convertir un Django QuerySet en pandas de la DataFramesiguiente manera:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Funciona, pero ¿hay alguna forma más eficiente?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Lo anterior es cómo hago lo mismo. La adición más útil es especificar los campos que le interesan. Si sólo está interesado en un subconjunto de los campos disponibles, supongo que esto aumentaría el rendimiento.

Django Pandas resuelve esto bastante bien: https://github.com/chrisdev/django-pandas/

Del README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Convertir el conjunto de consultas en lista_valores () será más eficiente en memoria que en valores () directamente. Dado que el método values ​​() devuelve un conjunto de consultas de una lista de dict (pares clave: valor), values_list () solo devuelve una lista de tuplas (datos puros). Ahorrará aproximadamente un 50% de memoria, solo necesita configurar la información de la columna cuando llame a pd.DataFrame ().

Método 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset)) ## consume mucha memoria
    #df = pd.DataFrame.from_records (queryset) ## funciona pero no hay muchos cambios en el uso de la memoria

Método 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (lista (conjunto de consultas), columnas = ["A", "B", "C", "D"]) ## esto ahorrará 50% de memoria
    #df = pd.DataFrame.from_records (conjunto de consultas, columnas = ["A", "B", "C", "D"]) ## No funciona. Se bloqueó con el tipo de datos, el conjunto de consultas no está en la lista.

Probé esto en mi proyecto con> 1 millón de datos de filas, la memoria máxima se reduce de 2G a 1G.

Desde la perspectiva de Django (no estoy familiarizado pandas) esto está bien. Mi única preocupación es que si tiene una gran cantidad de registros, puede tener problemas de memoria. Si este fuera el caso, sería necesario algo similar a este iterador de conjunto de consultas de memoria eficiente . (El fragmento tal como está escrito puede requerir una reescritura para permitir un uso inteligente de .values()).

Tal vez puedas usar model_to_dict

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()