Apache spark PySpark中是否有时间数据类型?

Apache spark PySpark中是否有时间数据类型?,apache-spark,pyspark,Apache Spark,Pyspark,我想使用PySpark将本地数据库中的时间转换为字符串格式“HH:mm:ss”(即23:15:20)的拼花文件。似乎没有时间让数据类型执行此操作。实现这一点的最佳实践是什么?如果您的目的是比较时间,那么您可以使用TimestamptType并忽略其日期,它将为您覆盖时间。否则,如果没有理由将其转换为时间戳,则始终可以使用regex将其解析为字符串。您可以尝试使用时间戳类型。日期将设置为1970-01-01。感谢您的输入。我有一个奇怪数据库中的奇怪数据集。它们在某些列中以数字格式保存日期,在另一列

我想使用PySpark将本地数据库中的时间转换为字符串格式“HH:mm:ss”(即23:15:20)的拼花文件。似乎没有时间让数据类型执行此操作。实现这一点的最佳实践是什么?

如果您的目的是比较时间,那么您可以使用
TimestamptType
并忽略其日期,它将为您覆盖时间。否则,如果没有理由将其转换为时间戳,则始终可以使用regex将其解析为字符串。

您可以尝试使用时间戳类型。日期将设置为1970-01-01。感谢您的输入。我有一个奇怪数据库中的奇怪数据集。它们在某些列中以数字格式保存日期,在另一列中以数字格式保存时间。我一直在寻找在拼花文件中转换它们的正确方法,但看起来不可能将它们分开。在这种情况下,您可以重新格式化时间,然后使用日期将其转换为日期类型。怎么样?