Tengo un DataFrame con muchos valores faltantes en columnas que deseo agrupar por:

import pandas as pd
import numpy as np
df = pd.DataFrame({'a': ['1', '2', '3'], 'b': ['4', np.NaN, '6']})

In [4]: df.groupby('b').groups
Out[4]: {'4': [0], '6': [2]}

ver que Pandas ha eliminado las filas con valores objetivo de NaN. (¡Quiero incluir estas filas!)

Como necesito muchas operaciones de este tipo (muchas columnas tienen valores perdidos) y uso funciones más complicadas que solo medianas (generalmente bosques aleatorios), quiero evitar escribir fragmentos de código demasiado complicados.

¿Alguna sugerencia? ¿Debo escribir una función para esto o hay una solución simple?

Esto se menciona en la sección Datos faltantes de los documentos :

Los grupos de NA en GroupBy se excluyen automáticamente. Este comportamiento es consistente con R, por ejemplo.

Una solución alternativa es usar un marcador de posición antes de hacer el grupo (p. Ej. -1):

In [11]: df.fillna(-1)
Out[11]: 
   a   b
0  1   4
1  2  -1
2  3   6

In [12]: df.fillna(-1).groupby('b').sum()
Out[12]: 
    a
b    
-1  2
4   1
6   3

Dicho esto, esto parece un truco bastante horrible ... tal vez debería haber una opción para incluir NaN en groupby (vea este tema de github , que utiliza el mismo truco de marcador de posición).

Tema antiguo, si alguien todavía tropieza con esto, otra solución es convertir a través de .astype (str) a cadena antes de agrupar. Eso conservará los NaN's.

in:

df = pd.DataFrame({'a': ['1', '2', '3'], 'b': ['4', np.NaN, '6']})
df['b'] = df['b'].astype(str)
df.groupby(['b']).sum()

out:
    a
b   
4   1
6   3
nan 2

pandas> = 1.1

Desde pandas 1.1 tiene un mejor control sobre este comportamiento, los valores de NA ahora están permitidos en el mero usando dropna=False:

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

# Example from the docs
df

   a    b  c
0  1  2.0  3
1  1  NaN  4
2  2  1.0  3
3  1  2.0  2

# without NA (the default)
df.groupby('b').sum()

     a  c
b        
1.0  2  3
2.0  2  5

# with NA
df.groupby('b', dropna=False).sum()

     a  c
b        
1.0  2  3
2.0  2  5
NaN  1  4

No puedo agregar un comentario a M. Kiewisch ya que no tengo suficientes puntos de reputación (solo tengo 41 pero necesito más de 50 para comentar).

De todos modos, solo quiero señalar que la solución de M. Kiewisch no funciona como es y puede necesitar más ajustes. Considere por ejemplo

>>> df = pd.DataFrame({'a': [1, 2, 3, 5], 'b': [4, np.NaN, 6, 4]})
>>> df
   a    b
0  1  4.0
1  2  NaN
2  3  6.0
3  5  4.0
>>> df.groupby(['b']).sum()
     a
b
4.0  6
6.0  3
>>> df.astype(str).groupby(['b']).sum()
      a
b
4.0  15
6.0   3
nan   2

lo que muestra que para el grupo b = 4.0, el valor correspondiente es 15 en lugar de 6. Aquí solo se concatena 1 y 5 como cadenas en lugar de agregarlo como números.

Un pequeño punto a la solución de Andy Hayden: no funciona (¿ya?) Porque np.nan == np.nancede False, por lo que la replacefunción en realidad no hace nada.

Lo que funcionó para mí fue esto:

df['b'] = df['b'].apply(lambda x: x if not np.isnan(x) else -1)

(Al menos ese es el comportamiento de Pandas 0.19.2. Lamento agregarlo como una respuesta diferente, no tengo suficiente reputación para comentar).

Todas las respuestas proporcionadas hasta ahora dan como resultado un comportamiento potencialmente peligroso, ya que es muy posible que seleccione un valor ficticio que realmente sea parte del conjunto de datos. Esto es cada vez más probable a medida que crea grupos con muchos atributos. En pocas palabras, el enfoque no siempre se generaliza bien.

Una solución menos hacky es usar pd.drop_duplicates () para crear un índice único de combinaciones de valores, cada una con su propia ID, y luego agruparlas en esa identificación. Es más detallado pero hace el trabajo:

def safe_groupby(df, group_cols, agg_dict):
    # set name of group col to unique value
    group_id = 'group_id'
    while group_id in df.columns:
        group_id += 'x'
    # get final order of columns
    agg_col_order = (group_cols + list(agg_dict.keys()))
    # create unique index of grouped values
    group_idx = df[group_cols].drop_duplicates()
    group_idx[group_id] = np.arange(group_idx.shape[0])
    # merge unique index on dataframe
    df = df.merge(group_idx, on=group_cols)
    # group dataframe on group id and aggregate values
    df_agg = df.groupby(group_id, as_index=True)\
               .agg(agg_dict)
    # merge grouped value index to results of aggregation
    df_agg = group_idx.set_index(group_id).join(df_agg)
    # rename index
    df_agg.index.name = None
    # return reordered columns
    return df_agg[agg_col_order]

Tenga en cuenta que ahora simplemente puede hacer lo siguiente:

data_block = [np.tile([None, 'A'], 3),
              np.repeat(['B', 'C'], 3),
              [1] * (2 * 3)]

col_names = ['col_a', 'col_b', 'value']

test_df = pd.DataFrame(data_block, index=col_names).T

grouped_df = safe_groupby(test_df, ['col_a', 'col_b'],
                          OrderedDict([('value', 'sum')]))

Esto devolverá el resultado exitoso sin tener que preocuparse por sobrescribir datos reales que se confunden con un valor ficticio.

Ya respondí esto, pero por alguna razón la respuesta se convirtió en un comentario. Sin embargo, esta es la solución más eficiente:

No poder incluir (y propagar) NaNs en grupos es bastante agravante. Citar a R no es convincente, ya que este comportamiento no es consistente con muchas otras cosas. De todos modos, el truco ficticio también es bastante malo. Sin embargo, el tamaño (incluye NaNs) y el recuento (ignora los NaNs) de un grupo serán diferentes si hay NaNs.

dfgrouped = df.groupby(['b']).a.agg(['sum','size','count'])

dfgrouped['sum'][dfgrouped['size']!=dfgrouped['count']] = None

Cuando estos difieren, puede volver a establecer el valor en Ninguno para el resultado de la función de agregación para ese grupo.

Pandas 1.1 instalado en Anaconda

No puedo comentar la respuesta de cs95 pero él me ayudó a resolver el problema.

Traté de instalar Pandas 1.1 pero falló usando su código, así que busqué en Google y pude instalar.

Primero ejecuto anaconda prompt como administrador y pego el siguiente código:

pip install pandas==1.1.0rc0

Después de eso incluye el uso dropna = False

Enlace: https://libraries.io/pypi/pandas

df = df.fillna("") esto funcionó para mí