Solo puede usar .dt accesor con valores de dataTimelike

df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
Strange Swan