Extrayendo solo mes y año por separado de la columna Pandas Datetime

Tengo un Dataframe, df, con la siguiente columna:

df['ArrivalDate'] =
...
936   2012-12-31
938   2012-12-29
965   2012-12-31
966   2012-12-31
967   2012-12-31
968   2012-12-31
969   2012-12-31
970   2012-12-29
971   2012-12-31
972   2012-12-29
973   2012-12-29
...

Los elementos de la columna son pandas.tslib.Timestamp.

Solo quiero incluir el año y el mes. Pensé que habría una manera simple de hacerlo, pero no puedo entenderlo.

Esto es lo que he intentado:

df['ArrivalDate'].resample('M', how = 'mean')

Tuve el siguiente error:

Only valid with DatetimeIndex or PeriodIndex 

Entonces intenté:

df['ArrivalDate'].apply(lambda(x):x[:-2])

Tuve el siguiente error:

'Timestamp' object has no attribute '__getitem__' 

¿Alguna sugerencia?

Editar: lo descubrí.

df.index = df['ArrivalDate']

Entonces, puedo volver a muestrear otra columna usando el índice.

Pero todavía me gustaría un método para reconfigurar toda la columna. ¿Algunas ideas?

Si desea nuevas columnas que muestren año y mes por separado, puede hacer esto:

df['year'] = pd.DatetimeIndex(df['ArrivalDate']).year
df['month'] = pd.DatetimeIndex(df['ArrivalDate']).month

o...

df['year'] = df['ArrivalDate'].dt.year
df['month'] = df['ArrivalDate'].dt.month

Luego puede combinarlos o trabajar con ellos tal como son.

La mejor manera encontrada !!

el df['date_column']tiene que estar en formato de fecha y hora.

df['month_year'] = df['date_column'].dt.to_period('M')

También puede usarlo Dpara Día, 2Mdurante 2 meses, etc. para diferentes intervalos de muestreo, y en caso de que uno tenga datos de series de tiempo con sello de tiempo, podemos elegir intervalos de muestreo granulares como 45Min45 minutos, 15Minpara muestreo de 15 minutos, etc.

Puedes acceder directamente a yearmonth atributos y , o solicitar un datetime.datetime:

In [15]: t = pandas.tslib.Timestamp.now()

In [16]: t
Out[16]: Timestamp('2014-08-05 14:49:39.643701', tz=None)

In [17]: t.to_pydatetime() #datetime method is deprecated
Out[17]: datetime.datetime(2014, 8, 5, 14, 49, 39, 643701)

In [18]: t.day
Out[18]: 5

In [19]: t.month
Out[19]: 8

In [20]: t.year
Out[20]: 2014

Una forma de combinar año y mes es hacer un número entero que los codifique, como: 201408para agosto de 2014. A lo largo de una columna completa, puede hacer esto como:

df['YearMonth'] = df['ArrivalDate'].map(lambda x: 100*x.year + x.month)

o muchas variantes de los mismos.

Sin embargo, no soy un gran fanático de hacer esto, ya que hace que la alineación de la fecha y la aritmética sean dolorosas más tarde y especialmente dolorosas para otros que se encuentran con su código o datos sin esta misma convención. Una mejor manera es elegir una convención del día del mes, como el último día de la semana no festivo en los EE. UU., O el primer día, etc., y dejar los datos en un formato de fecha / hora con la convención de fecha elegida.

El calendarmódulo es útil para obtener el valor numérico de ciertos días, como el último día de la semana. Entonces podrías hacer algo como:

import calendar
import datetime
df['AdjustedDateToEndOfMonth'] = df['ArrivalDate'].map(
    lambda x: datetime.datetime(
        x.year,
        x.month,
        max(calendar.monthcalendar(x.year, x.month)[-1][:5])
    )
)

Si está buscando una manera de resolver el problema más simple de simplemente formatear la columna de fecha y hora en alguna representación en cadena, para eso puede usar la strftimefunción de la datetime.datetimeclase, de esta manera:

In [5]: df
Out[5]: 
            date_time
0 2014-10-17 22:00:03

In [6]: df.date_time
Out[6]: 
0   2014-10-17 22:00:03
Name: date_time, dtype: datetime64[ns]

In [7]: df.date_time.map(lambda x: x.strftime('%Y-%m-%d'))
Out[7]: 
0    2014-10-17
Name: date_time, dtype: object

Si desea el par único de mes año, el uso de aplicar es bastante elegante.

df['mnth_yr'] = df['date_column'].apply(lambda x: x.strftime('%B-%Y')) 

Salidas mes-año en una columna.

No olvides cambiar primero el formato a fecha-hora antes, generalmente lo olvido.

df['date_column'] = pd.to_datetime(df['date_column'])

Extrayendo el año decir de ['2018-03-04']

df['Year'] = pd.DatetimeIndex(df['date']).year  

El df ['Año'] crea una nueva columna. Mientras que si quieres extraer el mes solo usa .month

Primero puede convertir sus cadenas de fecha con pandas.to_datetime , que le da acceso a todas las facilidades nudosas de datetime y timedelta . Por ejemplo:

df['ArrivalDate'] = pandas.to_datetime(df['ArrivalDate'])
df['Month'] = df['ArrivalDate'].values.astype('datetime64[M]')

Gracias a jaknap32 , quería agregar los resultados según el año y el mes, así que funcionó:

df_join['YearMonth'] = df_join['timestamp'].apply(lambda x:x.strftime('%Y%m'))

La salida fue ordenada:

0    201108
1    201108
2    201108

La solución de @KieranPC es el enfoque correcto para Pandas, pero no es fácilmente extensible para atributos arbitrarios. Para esto, puede usar getattrdentro de un generador de comprensión y combinar usando pd.concat:

# input data
list_of_dates = ['2012-12-31', '2012-12-29', '2012-12-30']
df = pd.DataFrame({'ArrivalDate': pd.to_datetime(list_of_dates)})

# define list of attributes required    
L = ['year', 'month', 'day', 'dayofweek', 'dayofyear', 'weekofyear', 'quarter']

# define generator expression of series, one for each attribute
date_gen = (getattr(df['ArrivalDate'].dt, i).rename(i) for i in L)

# concatenate results and join to original dataframe
df = df.join(pd.concat(date_gen, axis=1))

print(df)

  ArrivalDate  year  month  day  dayofweek  dayofyear  weekofyear  quarter
0  2012-12-31  2012     12   31          0        366           1        4
1  2012-12-29  2012     12   29          5        364          52        4
2  2012-12-30  2012     12   30          6        365          52        4

df['year_month']=df.datetime_column.apply(lambda x: str(x)[:7])

Esto funcionó bien para mí, no pensé que los pandas interpretarían la fecha de cadena resultante como fecha, pero cuando hice la trama, conocía muy bien mi agenda y la cadena year_month donde se ordenó correctamente ... ¡tengo que amar a los pandas!

Hay dos pasos para extraer el año para todo el marco de datos sin utilizar el método.

Paso 1

convertir la columna a fecha y hora:

df['ArrivalDate']=pd.to_datetime(df['ArrivalDate'], format='%Y-%m-%d')

Paso 2

extraer el año o el mes usando el DatetimeIndex()método

 pd.DatetimeIndex(df['ArrivalDate']).year

LÍNEA ÚNICA: Agregar una columna con pares 'año-mes ' : ('pd.to_datetime' primero cambia el tipo de columna a fecha-hora antes de la operación)

df['yyyy-mm'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%Y-%m')


En consecuencia, para una columna adicional de 'año' o 'mes':

df['yyyy'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%Y')

df['mm'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%m')