Digamos que tengo un registro de la actividad de los usuarios y quiero generar un informe de la duración total y el número de usuarios únicos por día.
import numpy as np
import pandas as pd
df = pd.DataFrame({'date': ['2013-04-01','2013-04-01','2013-04-01','2013-04-02', '2013-04-02'],
'user_id': ['0001', '0001', '0002', '0002', '0002'],
'duration': [30, 15, 20, 15, 30]})
La duración agregada es bastante sencilla:
group = df.groupby('date')
agg = group.aggregate({'duration': np.sum})
agg
duration
date
2013-04-01 65
2013-04-02 45
Lo que me gustaría hacer es sumar la duración y contar las diferencias al mismo tiempo, pero parece que no puedo encontrar un equivalente para count_distinct:
agg = group.aggregate({ 'duration': np.sum, 'user_id': count_distinct})
Esto funciona, pero seguramente hay una forma mejor, ¿no?
group = df.groupby('date')
agg = group.aggregate({'duration': np.sum})
agg['uv'] = df.groupby('date').user_id.nunique()
agg
duration uv
date
2013-04-01 65 2
2013-04-02 45 1
Estoy pensando que solo necesito proporcionar una función que devuelva el recuento de elementos distintos de un objeto Series a la función agregada, pero no tengo mucha exposición a las diversas bibliotecas a mi disposición. Además, parece que el objeto groupby ya conoce esta información, así que ¿no estaría simplemente duplicando el esfuerzo?
nunique
directamente. Vea la solución de @Blodwyn Pig a continuación'nunique' es una opción para .agg () desde pandas 0.20.0, entonces:
df.groupby('date').agg({'duration': 'sum', 'user_id': 'nunique'})
fuente
duration: np.unique
df.groupby('date').agg({'user_id': lambda s: s.unique().reset_index(drop=True)})
Simplemente agregando a las respuestas ya dadas, la solución que usa la cadena
"nunique"
parece mucho más rápida, probada aquí en un marco de datos de ~ 21M filas, luego agrupada en ~ 2M%time _=g.agg({"id": lambda x: x.nunique()}) CPU times: user 3min 3s, sys: 2.94 s, total: 3min 6s Wall time: 3min 20s %time _=g.agg({"id": pd.Series.nunique}) CPU times: user 3min 2s, sys: 2.44 s, total: 3min 4s Wall time: 3min 18s %time _=g.agg({"id": "nunique"}) CPU times: user 14 s, sys: 4.76 s, total: 18.8 s Wall time: 24.4 s
fuente