Dataframe Pyspark列:将字符串格式的数据转换为时间戳格式

Dataframe Pyspark列:将字符串格式的数据转换为时间戳格式,dataframe,pyspark,Dataframe,Pyspark,我正在尝试将一个字符串格式的pyspark列转换为时间戳格式 我尝试如下,但该列的值为空 谢谢 Example data: 06/19/17 00:00:00 df = df.withColumn("date", to_timestamp(col("date"), "MM/dd/yyy HHmm")) 当我试着按下面的方式选角时 df = df.withColumn("date",(col("inv

我正在尝试将一个字符串格式的pyspark列转换为时间戳格式

我尝试如下,但该列的值为空

谢谢

Example data:   06/19/17 00:00:00

df = df.withColumn("date", to_timestamp(col("date"), "MM/dd/yyy HHmm"))
当我试着按下面的方式选角时

df = df.withColumn("date",(col("invoice_date").cast(TimestampType())))

output: 2017-06-19T00:00:00.000+0000
预期产出:

 06/19/17 00:00:00
你可以做:

from pyspark.sql import functions as F

df.withColumn("date", F.from_unixtime(F.unix_timestamp("date", \
    'MM/dd/yy HH:mm:ss'),'MM-dd-yy HH:mm:ss')).show()

+-----------------+
|             date|
+-----------------+
|06-19-17 00:00:00|
+-----------------+