在 pyspark 中将文件时间转换为本地时间

Question

我有一个镶木地板文件，其中包含如下所示的一列

+--------------------+
|     Start_Time     |
+--------------------+
| 131696565231590000 |
| 131696565251590000 |
| 131726072567140000 |
| 131726073867090000 |
| 131726076586810000 |
| 131726079656940000 |
| 131726081667130000 |
| 131726085077090000 |
| 131726085207190000 |
+--------------------+

我需要读取此文件并将此列转换为本地时间的日期时间列。预期输出如下（我的本地时间是 IST）：

+-------------------------+
|       Start_Time        |
+-------------------------+
| 2018-05-01 13:55:23.160 |
| 2018-05-01 13:55:25.160 |
| 2018-06-04 17:34:16.713 |
| 2018-06-04 17:36:26.710 |
| 2018-06-04 17:40:58.680 |
| 2018-06-04 17:46:05.693 |
| 2018-06-04 17:49:26.713 |
| 2018-06-04 17:55:07.710 |
| 2018-06-04 17:55:20.720 |
+-------------------------+

我尝试如下所示单独转换时间戳并向其添加 +5.30，但是在我读取 parquet 文件本身或之后是否有更好的解决方案可以使用？

datetime.fromtimestamp((131696565231590000 - 116444736000000000) // 10000000)

Answer 1

您可以使用 from_utc_timestamp 并指定 IST 时区：

df2 = df.selectExpr("""
    from_utc_timestamp(
        timestamp((Start_Time - 116444736000000000) / 10000000), 'IST'
    ) as Start_Time
""")

df2.show(truncate=False)
+-----------------------+
|Start_Time             |
+-----------------------+
|2018-05-01 19:25:23.159|
|2018-05-01 19:25:25.159|
|2018-06-04 23:04:16.714|
|2018-06-04 23:06:26.709|
|2018-06-04 23:10:58.681|
|2018-06-04 23:16:05.694|
|2018-06-04 23:19:26.713|
|2018-06-04 23:25:07.709|
|2018-06-04 23:25:20.719|
+-----------------------+

在 pyspark 中将文件时间转换为本地时间

Convert filetime to localtime in pyspark

datetime

apache-spark

parquet

apache-spark-sql

pyspark