columns - pandas rename column by index

Pandas convierte la fecha y hora con una columna de zona horaria separada

Question

Tengo un marco de datos con una columna para la zona horaria y una columna para la fecha y hora. Me gustaría convertir estos a UTC primero para unirme a otros datos, y luego tendré algunos cálculos para convertir de UTC a la zona horaria local del usuario eventualmente.

datetime time_zone
2016-09-19 01:29:13 America/Bogota
2016-09-19 02:16:04 America/New_York
2016-09-19 01:57:54 Africa/Cairo
def create_utc(df, column, time_format=''%Y-%m-%d %H:%M:%S''):
timezone = df[''TZ'']
df[column + ''_utc''] = df[column].dt.tz_localize(timezone).dt.tz_convert(''UTC'').dt.strftime(time_format)
df[column + ''_utc''].replace(''NaT'', np.nan, inplace=True)
df[column + ''_utc''] = pd.to_datetime(df[column + ''_utc''])
return df

Ese fue mi intento fallido. El error es que la verdad es ambigua, lo que tiene sentido porque la variable ''zona horaria'' se refiere a una columna. ¿Cómo me refiero al valor en la misma fila?

Editar: aquí hay algunos resultados de las respuestas a continuación en un día de datos (394,000 filas y 22 zonas horarias únicas). Edit2: agregué un grupo por ejemplo en caso de que alguien quiera ver los resultados. Es el más rápido, de lejos.

%%timeit
for tz in df[''TZ''].unique():
df.ix[df[''TZ''] == tz, ''datetime_utc2''] = df.ix[df[''TZ''] == tz, ''datetime''].dt.tz_localize(tz).dt.tz_convert(''UTC'')
df[''datetime_utc2''] = df[''datetime_utc2''].dt.tz_localize(None)

1 loops, best of 3: 1.27 s per loop

%%timeit
df[''datetime_utc''] = [d[''datetime''].tz_localize(d[''TZ'']).tz_convert(''UTC'') for i, d in df.iterrows()]
df[''datetime_utc''] = df[''datetime_utc''].dt.tz_localize(None)

1 loops, best of 3: 50.3 s per loop

df[''datetime_utc''] = pd.concat([d[''datetime''].dt.tz_localize(tz).dt.tz_convert(''UTC'') for tz, d in df.groupby(''TZ'')])
**1 loops, best of 3: 249 ms per loop**

Answer 1

Aquí hay un enfoque vectorizado (repetirá df.time_zone.nunique() veces):

In [2]: t
Out[2]:
datetime time_zone
0 2016-09-19 01:29:13 America/Bogota
1 2016-09-19 02:16:04 America/New_York
2 2016-09-19 01:57:54 Africa/Cairo
3 2016-09-19 11:00:00 America/Bogota
4 2016-09-19 12:00:00 America/New_York
5 2016-09-19 13:00:00 Africa/Cairo
In [3]: for tz in t.time_zone.unique():
...: mask = (t.time_zone == tz)
...: t.loc[mask, ''datetime''] = /
...: t.loc[mask, ''datetime''].dt.tz_localize(tz).dt.tz_convert(''UTC'')
...:
In [4]: t
Out[4]:
datetime time_zone
0 2016-09-19 06:29:13 America/Bogota
1 2016-09-19 06:16:04 America/New_York
2 2016-09-18 23:57:54 Africa/Cairo
3 2016-09-19 16:00:00 America/Bogota
4 2016-09-19 16:00:00 America/New_York
5 2016-09-19 11:00:00 Africa/Cairo

ACTUALIZAR:

In [12]: df[''new''] = df.groupby(''time_zone'')[''datetime''] /
.transform(lambda x: x.dt.tz_localize(x.name))
In [13]: df
Out[13]:
datetime time_zone new
0 2016-09-19 01:29:13 America/Bogota 2016-09-19 06:29:13
1 2016-09-19 02:16:04 America/New_York 2016-09-19 06:16:04
2 2016-09-19 01:57:54 Africa/Cairo 2016-09-18 23:57:54
3 2016-09-19 11:00:00 America/Bogota 2016-09-19 16:00:00
4 2016-09-19 12:00:00 America/New_York 2016-09-19 16:00:00
5 2016-09-19 13:00:00 Africa/Cairo 2016-09-19 11:00:00

Answer 2

Su problema es que tz_localize() solo puede tomar un valor escalar, por lo que tendremos que iterar a través del DataFrame:

df[''datetime_utc''] = [d[''datetime''].tz_localize(d[''time_zone'']).tz_convert(''UTC'') for i,d in df.iterrows()]

El resultado es:

 datetime time_zone datetime_utc
0 2016-09-19 01:29:13 America/Bogota 2016-09-19 06:29:13+00:00
1 2016-09-19 02:16:04 America/New_York 2016-09-19 06:16:04+00:00
2 2016-09-19 01:57:54 Africa/Cairo 2016-09-18 23:57:54+00:00

Un enfoque alternativo es agrupar por zona horaria y convertir todas las filas coincidentes en una sola pasada:

df[''datetime_utc''] = pd.concat([d[''datetime''].dt.tz_localize(tz).dt.tz_convert(''UTC'') for tz, d in df.groupby(''time_zone'')])