Combinar columnas de fecha y hora usando python pandas

Tengo un marco de datos de pandas con las siguientes columnas;

Date              Time
01-06-2013      23:00:00
02-06-2013      01:00:00
02-06-2013      21:00:00
02-06-2013      22:00:00
02-06-2013      23:00:00
03-06-2013      01:00:00
03-06-2013      21:00:00
03-06-2013      22:00:00
03-06-2013      23:00:00
04-06-2013      01:00:00

¿Cómo combino datos ['Fecha'] y datos ['Hora'] para obtener lo siguiente? ¿Hay alguna forma de hacerlo usando pd.to_datetime?

Date
01-06-2013 23:00:00
02-06-2013 01:00:00
02-06-2013 21:00:00
02-06-2013 22:00:00
02-06-2013 23:00:00
03-06-2013 01:00:00
03-06-2013 21:00:00
03-06-2013 22:00:00
03-06-2013 23:00:00
04-06-2013 01:00:00

Vale la pena mencionar que es posible que haya podido leer esto directamente, por ejemplo, si estaba usando read_csvusing parse_dates=[['Date', 'Time']].

Suponiendo que estas son solo cadenas, simplemente puede agregarlas (con un espacio), lo que le permite aplicar to_datetime:

In [11]: df['Date'] + ' ' + df['Time']
Out[11]:
0    01-06-2013 23:00:00
1    02-06-2013 01:00:00
2    02-06-2013 21:00:00
3    02-06-2013 22:00:00
4    02-06-2013 23:00:00
5    03-06-2013 01:00:00
6    03-06-2013 21:00:00
7    03-06-2013 22:00:00
8    03-06-2013 23:00:00
9    04-06-2013 01:00:00
dtype: object

In [12]: pd.to_datetime(df['Date'] + ' ' + df['Time'])
Out[12]:
0   2013-01-06 23:00:00
1   2013-02-06 01:00:00
2   2013-02-06 21:00:00
3   2013-02-06 22:00:00
4   2013-02-06 23:00:00
5   2013-03-06 01:00:00
6   2013-03-06 21:00:00
7   2013-03-06 22:00:00
8   2013-03-06 23:00:00
9   2013-04-06 01:00:00
dtype: datetime64[ns]

Nota: sorprendentemente (para mí), esto funciona bien con los NaN convertidos a NaT, pero vale la pena preocuparse de que la conversión (quizás usando el raiseargumento).

La respuesta aceptada funciona para columnas que son de tipo de datos string. Para completar: me encuentro con esta pregunta al buscar cómo hacer esto cuando las columnas son de tipos de datos: fecha y hora.

df.apply(lambda r : pd.datetime.combine(r['date_column_name'],r['time_column_name']),1)

Puede usar esto para combinar fecha y hora en la misma columna de marco de datos.

import pandas as pd    
data_file = 'data.csv' #path of your file

Leyendo el archivo .csv con columnas fusionadas Date_Time:

data = pd.read_csv(data_file, parse_dates=[['Date', 'Time']]) 

Puede usar esta línea para mantener las otras dos columnas también.

data.set_index(['Date', 'Time'], drop=False)

Puede convertir las columnas si los tipos son diferentes (fecha y hora y marca de tiempo o str) y usar to_datetime:

df.loc[:,'Date'] = pd.to_datetime(df.Date.astype(str)+' '+df.Time.astype(str))

Resultado:

0   2013-01-06 23:00:00
1   2013-02-06 01:00:00
2   2013-02-06 21:00:00
3   2013-02-06 22:00:00
4   2013-02-06 23:00:00
5   2013-03-06 01:00:00
6   2013-03-06 21:00:00
7   2013-03-06 22:00:00
8   2013-03-06 23:00:00
9   2013-04-06 01:00:00

Mejor,

No tengo suficiente reputación para comentar sobre jka.ne, así que:

Tuve que modificar la línea de jka.ne para que funcionara:

df.apply(lambda r : pd.datetime.combine(r['date_column_name'],r['time_column_name']).time(),1)

Esto podría ayudar a otros.

Además, he probado un enfoque diferente, usando en replacelugar de combine:

def combine_date_time(df, datecol, timecol):
    return df.apply(lambda row: row[datecol].replace(
                                hour=row[timecol].hour,
                                minute=row[timecol].minute),
                    axis=1)

que en el caso del OP sería:

combine_date_time(df, 'Date', 'Time')

He cronometrado ambos enfoques para un conjunto de datos relativamente grande (> 500.000 filas), y ambos tienen tiempos de ejecución similares, pero el uso combinees más rápido (59 segundos replacefrente a 50 segundos combine).

La respuesta realmente depende de cuáles sean sus tipos de columna . En mi caso, tuve datetimey timedelta.

> df[['Date','Time']].dtypes
Date     datetime64[ns]
Time    timedelta64[ns]

Si este es tu caso, solo necesitas agregar las columnas:

> df['Date'] + df['Time']

También puede convertir a datetimesin concatenación de cadenas, combinando objetos datetimey timedelta. Combinado con pd.DataFrame.pop, puede eliminar la serie fuente simultáneamente:

df['DateTime'] = pd.to_datetime(df.pop('Date')) + pd.to_timedelta(df.pop('Time'))

print(df)

             DateTime
0 2013-01-06 23:00:00
1 2013-02-06 01:00:00
2 2013-02-06 21:00:00
3 2013-02-06 22:00:00
4 2013-02-06 23:00:00
5 2013-03-06 01:00:00
6 2013-03-06 21:00:00
7 2013-03-06 22:00:00
8 2013-03-06 23:00:00
9 2013-04-06 01:00:00

print(df.dtypes)

DateTime    datetime64[ns]
dtype: object

Primero asegúrese de tener los tipos de datos correctos:

df["Date"] = pd.to_datetime(df["Date"])
df["Time"] = pd.to_timedelta(df["Time"])

Entonces puedes combinarlos fácilmente:

df["DateTime"] = df["Date"] + df["Time"]

Usa la combinefunción:

datetime.datetime.combine(date, time)

Mi conjunto de datos tuvo datos de resolución de 1 segundo durante unos días y el análisis con los métodos sugeridos aquí fue muy lento. En su lugar usé:

dates = pandas.to_datetime(df.Date, cache=True)
times = pandas.to_timedelta(df.Time)
datetimes  = dates + times

Tenga en cuenta que el uso de cache=Truehace que analizar las fechas sea muy eficiente, ya que solo hay un par de fechas únicas en mis archivos, lo que no es cierto para una columna de fecha y hora combinadas.

DATOS:

<TICKER>, <PER>, <DATE>, <TIME> , <OPEN>, <HIGH>, <LOW>, <CERRAR>, <VOL> SPFB.RTS, 1, 20190103,100100 , 106580.0000000,107260.0000000,106570.0000000 , 107230.0000000,3726

CÓDIGO:

data.columns = ['ticker', 'per', 'date', 'time', 'open', 'high', 'low', 'close', 'vol']    
data.datetime = pd.to_datetime(data.date.astype(str) + ' ' + data.time.astype(str), format='%Y%m%d %H%M%S')