将2019年7月7日星期二12:30:42转换为时间戳scala/spark
我需要使用scala for spark将将2019年7月7日星期二12:30:42转换为时间戳scala/spark,scala,date,apache-spark,Scala,Date,Apache Spark,我需要使用scala for spark将转换为时间戳,转换时间戳为2017年7月7日星期二2020年12:30:42。 因此,预期结果将是:2020-07-07 12:30:42 你知道怎么做吗?你可以使用的时间戳功能 spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY") <-- Spark 3.0 Only. df.withColumn("date", t
转换为时间戳,转换时间戳为2017年7月7日星期二2020年12:30:42。
因此,预期结果将是:2020-07-07 12:30:42
你知道怎么做吗?你可以使用的时间戳功能
spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY") <-- Spark 3.0 Only.
df.withColumn("date", to_timestamp('string, "E MMM dd yyyy HH:mm:ss"))
.show(false)
+------------------------+-------------------+
|string |date |
+------------------------+-------------------+
|Tue Jul 07 2020 12:30:42|2020-07-07 12:30:42|
+------------------------+-------------------+
spark.conf.set(“spark.sql.legacy.timeParserPolicy”,“legacy”)