Estoy tratando de configurar una subclase de pd.DataFrame
que tiene dos argumentos necesarios al inicializar ( group
y timestamp_col
). Quiero ejecutar la validación de esos argumentos group
y timestamp_col
, por lo tanto, tengo un método setter para cada una de las propiedades. Todo esto funciona hasta que lo intento set_index()
y lo consigo TypeError: 'NoneType' object is not iterable
. Parece que no se está pasando ningún argumento a mi función setter en test_set_index
y test_assignment_with_indexed_obj
. Si agrego if g == None: return
a mi función de establecimiento, puedo pasar los casos de prueba, pero no creo que esa sea la solución adecuada.
¿Cómo debo implementar la validación de propiedad para estos argumentos requeridos?
Abajo está mi clase:
import pandas as pd
import numpy as np
class HistDollarGains(pd.DataFrame):
@property
def _constructor(self):
return HistDollarGains._internal_ctor
_metadata = ["group", "timestamp_col", "_group", "_timestamp_col"]
@classmethod
def _internal_ctor(cls, *args, **kwargs):
kwargs["group"] = None
kwargs["timestamp_col"] = None
return cls(*args, **kwargs)
def __init__(
self,
data,
group,
timestamp_col,
index=None,
columns=None,
dtype=None,
copy=True,
):
super(HistDollarGains, self).__init__(
data=data, index=index, columns=columns, dtype=dtype, copy=copy
)
self.group = group
self.timestamp_col = timestamp_col
@property
def group(self):
return self._group
@group.setter
def group(self, g):
if g == None:
return
if isinstance(g, str):
group_list = [g]
else:
group_list = g
if not set(group_list).issubset(self.columns):
raise ValueError("Data does not contain " + '[' + ', '.join(group_list) + ']')
self._group = group_list
@property
def timestamp_col(self):
return self._timestamp_col
@timestamp_col.setter
def timestamp_col(self, t):
if t == None:
return
if not t in self.columns:
raise ValueError("Data does not contain " + '[' + t + ']')
self._timestamp_col = t
Aquí están mis casos de prueba:
import pytest
import pandas as pd
import numpy as np
from myclass import *
@pytest.fixture(scope="module")
def sample():
samp = pd.DataFrame(
[
{"timestamp": "2020-01-01", "group": "a", "dollar_gains": 100},
{"timestamp": "2020-01-01", "group": "b", "dollar_gains": 100},
{"timestamp": "2020-01-01", "group": "c", "dollar_gains": 110},
{"timestamp": "2020-01-01", "group": "a", "dollar_gains": 110},
{"timestamp": "2020-01-01", "group": "b", "dollar_gains": 90},
{"timestamp": "2020-01-01", "group": "d", "dollar_gains": 100},
]
)
return samp
@pytest.fixture(scope="module")
def sample_obj(sample):
return HistDollarGains(sample, "group", "timestamp")
def test_constructor_without_args(sample):
with pytest.raises(TypeError):
HistDollarGains(sample)
def test_constructor_with_string_group(sample):
hist_dg = HistDollarGains(sample, "group", "timestamp")
assert hist_dg.group == ["group"]
assert hist_dg.timestamp_col == "timestamp"
def test_constructor_with_list_group(sample):
hist_dg = HistDollarGains(sample, ["group", "timestamp"], "timestamp")
def test_constructor_with_invalid_group(sample):
with pytest.raises(ValueError):
HistDollarGains(sample, "invalid_group", np.random.choice(sample.columns))
def test_constructor_with_invalid_timestamp(sample):
with pytest.raises(ValueError):
HistDollarGains(sample, np.random.choice(sample.columns), "invalid_timestamp")
def test_assignment_with_indexed_obj(sample_obj):
b = sample_obj.set_index(sample_obj.group + [sample_obj.timestamp_col])
def test_set_index(sample_obj):
# print(isinstance(a, pd.DataFrame))
assert sample_obj.set_index(sample_obj.group + [sample_obj.timestamp_col]).index.names == ['group', 'timestamp']
fuente
None
es un valor no válido para lagroup
propiedad, ¿no debería aumentar unValueError
?None
es un valor no válido, por eso no me gusta la declaración if. Pero agregar que Ninguno lo hace pasar las pruebas. Estoy buscando cómo solucionar esto correctamente sin la instrucción None if.ValueError
. El problema es descubrir qué está tratando de establecer elgroup
atributoNone
en primer lugar.Respuestas:
El
set_index()
método llamaráself.copy()
internamente para crear una copia de su objeto DataFrame (vea el código fuente aquí ), dentro del cual utiliza su método de constructor personalizado_internal_ctor()
, para crear el nuevo objeto ( fuente ). Tenga en cuenta queself._constructor()
es idéntico aself._internal_ctor()
, que es un método interno común para casi todas las clases de pandas para crear nuevas instancias durante operaciones como copia profunda o segmentación. Su problema en realidad se origina en esta función:Supongo que copiaste este código del problema de github . Las líneas
kwargs["**"] = None
le dicen explícitamente al constructor que establezcaNone
en ambosgroup
ytimestamp_col
. Finalmente, el configurador / validador obtieneNone
el nuevo valor y genera un error.Por lo tanto, debe establecer un valor aceptable para
group
ytimestamp_col
.Luego puede eliminar las
if g == None: return
líneas en el validador.fuente