Date pyspark:将此格式的日期dd-MMM-yyyy-hh:mm:ss转换为yyyy-mm-dd

有人能帮我解决这个问题吗：

我试图在spark中将日期（如2018年6月10日09:59:51）转换为2018年6月10日，但没有取得任何成功 基本上，我是从外部表查询日期字段，如：

select format_datetime(my_date, 'y-M-d') as dt from blahblah

以上内容适用于雅典娜，但不适用于Pypark

我在pyspark中使用了下面的代码，但得到了一个空字符串

select from_unixtime(UNIX_TIMESTAMP(my_date, 'yyyy-MM-dd')) as dt from blahblah

注意：my_date在外部表中是字符串数据类型，我需要提取日期部分以在此字段上创建分区

---

我非常感谢在这方面的任何帮助

您也可以在

hive

和

sparksql

中尝试此功能

Pyspark

sqlContext.sql("select from_unixtime(unix_timestamp('10-Jun-2018 09:59:51', 'dd-MMM-yyyy hh:mm:ss'), 'yyyy-MM-dd')").show()

蜂巢

select from_unixtime(unix_timestamp('10-Jun-2018 09:59:51', 'dd-MMM-yyyy hh:mm:ss'), 'yyyy-MM-dd');

请参阅配置单元内置的日期时间UDF

以及时间戳格式字符串