Dataframe 如何将spark到elastic search的长历元列作为时间格式加载?
我有一个长数据类型列(finishedTime),它的历元时间以毫秒为单位。我正在尝试将此列加载到elastic search作为时间格式数据类型,以便可以查看时间线,但我无法这样做 我尝试转换为timestames类型,但考虑将其作为数字数据类型Dataframe 如何将spark到elastic search的长历元列作为时间格式加载?,dataframe,apache-spark,elasticsearch,Dataframe,Apache Spark,elasticsearch,我有一个长数据类型列(finishedTime),它的历元时间以毫秒为单位。我正在尝试将此列加载到elastic search作为时间格式数据类型,以便可以查看时间线,但我无法这样做 我尝试转换为timestames类型,但考虑将其作为数字数据类型 val df1=myDF.withColumn("FinishTime",from_unixtime($"finishedTime"/1000).cast(TimestampType)) EsSparkSQL.saveToEs(df1,"app_m
val df1=myDF.withColumn("FinishTime",from_unixtime($"finishedTime"/1000).cast(TimestampType))
EsSparkSQL.saveToEs(df1,"app_metrics")
我能够转换为日期数据类型,但失去了小时,分钟,秒
myDF.withColumn(“FinishTime”,到日期(从unixtime($“finishedTime”/1000))
有什么方法可以将历元时间加载为日期格式或任何时间格式吗?我在这里找到了解决方案
.withColumn(“FinishTime”、日期格式(from_unixtime($“finishedTime”/1000)、“yyyy-MM-dd'HH:MM:ss.SSSZ”)
现在ES自动将其识别为日期数据类型