Python PySpark:如何将UTC时间戳字段转换为CST(美国/中央)保持时间戳数据类型

Python PySpark:如何将UTC时间戳字段转换为CST(美国/中央)保持时间戳数据类型,python,pyspark,timestamp,timezone,Python,Pyspark,Timestamp,Timezone,我有下面的示例数据集。列的数据类型是timestamp datetime_utc 2017-03-29T23:20:00Z 2017-04-17T19:00:00Z 我想将UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python熊猫中执行此操作,但不知道如何在Pyspark中执行此操作 在spark数据帧中,您可以使用from_utc_timestamp()函数将utc转换为其他时区 import pyspark.sql.functions as F df.withColum

我有下面的示例数据集。列的数据类型是timestamp

datetime_utc
2017-03-29T23:20:00Z
2017-04-17T19:00:00Z

我想将UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python熊猫中执行此操作,但不知道如何在Pyspark中执行此操作

在spark数据帧中,您可以使用
from_utc_timestamp()
函数将utc转换为其他时区

import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()

在spark dataframe中,您可以使用
from_utc_timestamp()
函数将utc转换为其他时区

import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()

对于具有此
时间戳的表,您是否具有
蜂巢
结构?如果是,请尝试与此方法匹配(请参阅时间戳列并设置
timestamp.formats
)。对于具有此
时间戳的表,您是否具有
蜂巢
结构?如果是,请尝试与此方法匹配(请参阅时间戳列并设置
timestamp.formats
)。