Python PySpark:如何将UTC时间戳字段转换为CST(美国/中央)保持时间戳数据类型
我有下面的示例数据集。列的数据类型是timestampPython PySpark:如何将UTC时间戳字段转换为CST(美国/中央)保持时间戳数据类型,python,pyspark,timestamp,timezone,Python,Pyspark,Timestamp,Timezone,我有下面的示例数据集。列的数据类型是timestamp datetime_utc 2017-03-29T23:20:00Z 2017-04-17T19:00:00Z 我想将UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python熊猫中执行此操作,但不知道如何在Pyspark中执行此操作 在spark数据帧中,您可以使用from_utc_timestamp()函数将utc转换为其他时区 import pyspark.sql.functions as F df.withColum
datetime_utc
2017-03-29T23:20:00Z
2017-04-17T19:00:00Z
我想将UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python熊猫中执行此操作,但不知道如何在Pyspark中执行此操作 在spark数据帧中,您可以使用
from_utc_timestamp()
函数将utc转换为其他时区
import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()
在spark dataframe中,您可以使用
from_utc_timestamp()
函数将utc转换为其他时区
import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()
对于具有此
时间戳的表,您是否具有蜂巢
结构?如果是,请尝试与此方法匹配(请参阅时间戳列并设置timestamp.formats
)。对于具有此时间戳的表,您是否具有蜂巢
结构?如果是,请尝试与此方法匹配(请参阅时间戳列并设置timestamp.formats
)。