将（来回）UNIX 时间戳转换为 pandas.tslib.Timestamp 和系列的日期时间

Question

我正在使用 python 3.5.2、pandas 0.18.1 和 sqlite3。

在我的数据库中，自 1970 年以来，我有一个 unix_time 列 INT 几秒钟。理想情况下，我想从 sqlite 读取我的数据框，然后创建一个 time 列这将对应于 unix_time 列的 datetime 或 pandas.tslib.Timestamp 转换，我将仅用于某些处理然后在保存数据帧之前删除。

问题是当解析 unix_time 列时使用：

df = pd.read_from_sql_query("SELECT * FROM test", con, parse_dates=['unix_time'])

我获得了适合我处理的 pandas.tslib.Timestamp 类型，但是我必须使用 :

重新创建我原来的 unix_time 列

df['unix_time'][i] = (df['unix_time'][i] - datetime(1970,1,1)).total_seconds()

这是真的'dirty'

第一个问题：你有更好的方法吗？

我想过放弃 unix 时间格式，只使用 datetime 格式，但实际上 pandas returns 中的 to_datetime 方法 pandas.tslib.Timestamp 。 .. 无论如何，这样做会迫使我遍历所有行，这是一个糟糕的解决方案。（不可能将 to_datetime 应用到除了数据框单个单元格的视图之外的其他东西上

第二个问题：是否可以套用在系列上？

我最后一次尝试是直接使用 df['time'] = datetime.datetime.fromtimestamp(df['unix_time']) 但令人惊讶的是，它也 returns pandas.tslib.Timestamp.

最后，知道我只能保存 unix 时间戳或日期时间，目前我唯一的选择是：

正在解析，但必须将它们转换回 unix 时间戳一.
或者不解析但必须将它们转换为pandas.tslib.Timestamp 一个接一个。

如果我能转换整个系列就好了。

最后一个问题：有没有办法将 unix 时间戳系列转换为 datetime（或至少 pandas.tslib.Timestamp），或 pandas.tslib.Timestamp（或datetime）系列到unix时间戳？

谢谢

编辑：在我的处理过程中，我提取了一行我想附加到我的数据集。显然，从数据帧传递到 serie 时，pandas.tslib.Timestamp 的覆盖会隐式附加：

df = pd.DataFrame({'UNX':pd.date_range('2016-01-01', freq='9999S', periods=10).astype(np.int64)//10**9})
df['Date'] = pd.to_datetime(df.UNX, unit='s')
print(df.Date.dtypes)
print(type(df['Date'][0]))
test = df.iloc[0]
print(type(test.Date))
new_df = test.to_frame().transpose()   #from here, impossible to do : new_df.to_sql("test", con) because the type for 'Date' is not supported
print(new_df.Date.dtypes)

returns

datetime64[ns]
<class 'pandas.tslib.Timestamp'>
<class 'pandas.tslib.Timestamp'>
object

有没有办法将 new_df 中的 'Date' 从 pandas.tslib.Timestamp 转换为 datetime64[ns] 或 datetime.datetime（或简单地 str）？

Answer 1

IIUC 你可以这样做：

In [96]: df = pd.DataFrame({'UNX':pd.date_range('2016-01-01', freq='9999S', periods=10).astype(np.int64)//10**9})

In [97]: df
Out[97]:
          UNX
0  1451606400
1  1451616399
2  1451626398
3  1451636397
4  1451646396
5  1451656395
6  1451666394
7  1451676393
8  1451686392
9  1451696391

将 UNIX 纪元转换为 Python 日期时间：

In [98]: df['Date'] = pd.to_datetime(df.UNX, unit='s')

In [99]: df
Out[99]:
          UNX                Date
0  1451606400 2016-01-01 00:00:00
1  1451616399 2016-01-01 02:46:39
2  1451626398 2016-01-01 05:33:18
3  1451636397 2016-01-01 08:19:57
4  1451646396 2016-01-01 11:06:36
5  1451656395 2016-01-01 13:53:15
6  1451666394 2016-01-01 16:39:54
7  1451676393 2016-01-01 19:26:33
8  1451686392 2016-01-01 22:13:12
9  1451696391 2016-01-02 00:59:51

将 datetime 转换为 UNIX 纪元：

In [100]: df['UNX2'] = df.Date.astype('int64')//10**9

In [101]: df
Out[101]:
          UNX                Date        UNX2
0  1451606400 2016-01-01 00:00:00  1451606400
1  1451616399 2016-01-01 02:46:39  1451616399
2  1451626398 2016-01-01 05:33:18  1451626398
3  1451636397 2016-01-01 08:19:57  1451636397
4  1451646396 2016-01-01 11:06:36  1451646396
5  1451656395 2016-01-01 13:53:15  1451656395
6  1451666394 2016-01-01 16:39:54  1451666394
7  1451676393 2016-01-01 19:26:33  1451676393
8  1451686392 2016-01-01 22:13:12  1451686392
9  1451696391 2016-01-02 00:59:51  1451696391

检查：

In [102]: df.UNX.eq(df.UNX2).all()
Out[102]: True

Answer 2

Pandas 时间戳和 Unix 秒之间的往返（自 1970-01-01 起）：

date_in = pd.to_datetime("2022-04-07")
# type(date_in) is: pandas._libs.tslibs.timestamps.Timestamp
unix_seconds = date_in.value//10**9
date_out = pd.to_datetime(unix_seconds, unit="s")

输出：

date_in
Out[1]: Timestamp('2021-04-07 00:00:00')
unix_seconds
Out[2]: 1617753600
date_out
Out[3]: Timestamp('2021-04-07 00:00:00')

将（来回）UNIX 时间戳转换为 pandas.tslib.Timestamp 和系列的日期时间

Convert (back and forth) UNIX timestamp to pandas.tslib.Timestamp and datetime for series

python

datetime

unix-timestamp

pandas