¿Cuál es la diferencia entre NaN y None?

Estoy leyendo dos columnas de un archivo csv usando pandas readcsv()y luego asignando los valores a un diccionario. Las columnas contienen cadenas de números y letras. Ocasionalmente, hay casos en los que una celda está vacía. En mi opinión, el valor leído en esa entrada del diccionario debería ser Nonepero en su lugar nanestá asignado. Seguramente Nonees más descriptivo de una celda vacía ya que tiene un valor nulo, mientras quenan simplemente dice que el valor leído no es un número.

¿Mi comprensión es correcta, cuál ES la diferencia entre Noney nan? ¿Por qué se nanasigna en lugar deNone ?

Además, mi verificación de diccionario en busca de celdas vacías ha estado usando numpy.isnan():

for k, v in my_dict.iteritems():
    if np.isnan(v):

Pero esto me da un error que dice que no puedo usar esta verificación para v. Supongo que se debe a que se debe usar una variable entera o flotante, no una cadena. Si esto es cierto, ¿cómo puedo verificar si hay vuna "celda vacía" / nancaso?

NaN se usa como un marcador de posición para los datos faltantes de manera consistente en pandas , la consistencia es buena. Normalmente leo / traduzco NaN como "perdido" . También vea la sección 'trabajar con datos faltantes' en los documentos.

Wes escribe en los documentos 'elección de la representación de NA' :

Después de años de producción, el uso [NaN] ha demostrado, al menos en mi opinión, ser la mejor decisión dada la situación en NumPy y Python en general. El valor especial NaN (No-A-Number) se utiliza en todas partes como el valor NA, y hay funciones de API isnully notnullque puede ser utilizado en todos los dtypes para detectar valores de NA.
...
Por lo tanto, he elegido el enfoque Pythonic de "practicidad vence a la pureza" y la capacidad NA de enteros intercambiados por un enfoque mucho más simple de usar un valor especial en arreglos flotantes y de objetos para denotar NA, y promover arreglos enteros a flotantes cuando los NA deben ser introducido.

Nota: el "gotcha" de que las series enteras que contienen datos faltantes son upcast a flotantes .

En mi opinión, la razón principal para usar NaN (en lugar de None) es que se puede almacenar con el tipo dtype float64 de numpy, en lugar del dtype de objeto menos eficiente, consulte las promociones de tipo NA .

#  without forcing dtype it changes None to NaN!
s_bad = pd.Series([1, None], dtype=object)
s_good = pd.Series([1, np.nan])

In [13]: s_bad.dtype
Out[13]: dtype('O')

In [14]: s_good.dtype
Out[14]: dtype('float64')

Jeff comenta (abajo) sobre esto:

np.nanpermite operaciones vectorizadas; es un valor flotante, mientras que None, por definición, fuerza el tipo de objeto, que básicamente desactiva toda la eficiencia en numpy.

Entonces repita 3 veces rápido: objeto == malo, flotar == bueno

Dicho esto, muchas operaciones pueden funcionar igual de bien con None vs NaN (pero quizás no sean compatibles, es decir, a veces pueden dar resultados sorprendentes ):

In [15]: s_bad.sum()
Out[15]: 1

In [16]: s_good.sum()
Out[16]: 1.0

Para responder a la segunda pregunta:
debería utilizar pd.isnully pd.notnullpara probar los datos faltantes (NaN).

NaNse puede utilizar como valor numérico en operaciones matemáticas, mientras Noneque no se puede (o al menos no debería).

NaNes un valor numérico, como se define en el estándar de coma flotante IEEE 754 . Nonees un tipo interno de Python (NoneType ) y sería más como "inexistente" o "vacío" que "numéricamente no válido" en este contexto.

El principal "síntoma" de eso es que, si realiza, digamos, un promedio o una suma en una matriz que contiene NaN, incluso uno solo, obtiene NaN como resultado ...

Por otro lado, no puede realizar operaciones matemáticas utilizando Nonecomo operando.

Entonces, dependiendo del caso, puede usarlo Nonecomo una forma de decirle a su algoritmo que no considere valores inválidos o inexistentes en los cálculos. Eso significaría que el algoritmo debería probar cada valor para ver si lo es None.

Numpy tiene algunas funciones para evitar que los valores de NaN contaminen sus resultados, como nansumy nan_to_numpor ejemplo.

La función isnan()comprueba si algo es "No es un número" y devolverá si una variable es un número o no, por ejemplo isnan(2), devolvería falso

El condicional myVar is not Nonedevuelve si la variable está definida o no

Su matriz numpy utiliza isnan()porque está destinada a ser una matriz de números e inicializa todos los elementos de la matriz para que NaNestos elementos se consideren "vacíos"

A continuación se muestran las diferencias:

• nan pertenece a la clase float
• None pertenece a la clase NoneType

Encontré el siguiente artículo muy útil: https://medium.com/analytics-vidhya/dealing-with-missing-values-nan-and-none-in-python-6fc9b8fb4f31

NaNsignifica NO un número .
Nonepodría representar cualquiera .