Convierta la columna Pandas que contiene NaNs a dtype `int`

Leí datos de un archivo .csv a un marco de datos de Pandas como se muestra a continuación. Para una de las columnas, a saber id, quiero especificar el tipo de columna como int. El problema es que la idserie tiene valores faltantes / vacíos.

Cuando intento convertir la idcolumna a entero mientras leo el .csv, obtengo:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

Alternativamente, intenté convertir el tipo de columna después de leer como se muestra a continuación, pero esta vez obtengo:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

¿Cómo puedo abordar esto?

La falta de representante de NaN en columnas enteras es un panda "gotcha" .

La solución habitual es simplemente usar flotadores.

En la versión 0.24. + Pandas ha ganado la capacidad de mantener tipos enteros con valores faltantes.

Tipo de datos entero anulable .

Los pandas pueden representar datos enteros con valores posiblemente perdidos utilizando arrays.IntegerArray. Este es un tipo de extensión implementado dentro de pandas. No es el dtype predeterminado para enteros, y no se deducirá; debe pasar explícitamente la dtype en array()o Series:

arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)

0      1
1      2
2    NaN
dtype: Int64

Para convertir columnas a enteros anulables, use:

df['myCol'] = df['myCol'].astype('Int64')

Mi caso de uso es mezclar datos antes de cargarlos en una tabla DB:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

Elimine los NaN, conviértalos en int, conviértalos en str y luego vuelva a insertar los NAN.

¡No es bonito pero hace el trabajo!

Ahora es posible crear una columna de pandas que contenga NaNs como dtype int, ya que ahora se agrega oficialmente en pandas 0.24.0

Notas de la versión de pandas 0.24.x Cita: " Pandas ha ganado la capacidad de mantener tipos enteros con valores perdidos

Si desea combinar enteros y NaN en una columna, puede usar el tipo de datos 'objeto':

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

Esto reemplazará los NaN con un número entero (no importa cuál), se convertirá en int, se convertirá en objeto y finalmente volverá a insertar los NaN.

Si puede modificar sus datos almacenados, use un valor centinela para los que faltan id. Un caso de uso común, inferido por el nombre de la columna, ya que ides un número entero, estrictamente mayor que cero, podría usarlo 0como un valor centinela para poder escribir

if row['id']:
   regular_process(row)
else:
   special_process(row)

Podría usar .dropna()si está bien soltar las filas con los valores NaN.

df = df.dropna(subset=['id'])

Alternativamente, use .fillna()y .astype()para reemplazar el NaN con valores y conviértalos a int.

Me encontré con este problema al procesar un archivo CSV con enteros grandes, mientras faltaban algunos de ellos (NaN). Usar float como tipo no era una opción, porque podría perder la precisión.

Mi solución fue usar str como el tipo intermedio . Luego puede convertir la cadena a int como desee más adelante en el código. Reemplacé NaN con 0, pero puedes elegir cualquier valor.

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

Para la ilustración, aquí hay un ejemplo de cómo los flotadores pueden perder precisión:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

Y la salida es:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

La mayoría de las soluciones aquí le indican cómo usar un número entero de marcador de posición para representar nulos. Sin embargo, ese enfoque no es útil si no está seguro de que el entero no aparezca en sus datos de origen. Mi método con formateará flotantes sin sus valores decimales y convertirá nulos a Ninguno. El resultado es un tipo de datos de objeto que se verá como un campo entero con valores nulos cuando se carga en un CSV.

keep_df[col] = keep_df[col].apply(lambda x: None if pandas.isnull(x) else '{0:.0f}'.format(pandas.to_numeric(x)))

Me encontré con este problema trabajando con pyspark. Como se trata de una interfaz de Python para el código que se ejecuta en un jvm, requiere seguridad de tipo y el uso de float en lugar de int no es una opción. Trabajé en torno al problema envolviendo los pandas pd.read_csven una función que llenará las columnas definidas por el usuario con los valores de relleno definidos por el usuario antes de convertirlos al tipo requerido. Esto es lo que terminé usando:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

import pandas as pd

df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])

Primero elimine las filas que contienen NaN. Luego, haga la conversión entera en las filas restantes. Por fin inserte las filas eliminadas nuevamente. Espero que funcione

Suponiendo que su DateColumn formateado 3312018.0 se convierta a 31/03/2018 como una cadena. Y faltan algunos registros o 0.

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))