Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Dataframe 如何将spark到elastic search的长历元列作为时间格式加载?_Dataframe_Apache Spark_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch - Fatal编程技术网 elasticsearch,Dataframe,Apache Spark,elasticsearch" /> elasticsearch,Dataframe,Apache Spark,elasticsearch" />

Dataframe 如何将spark到elastic search的长历元列作为时间格式加载?

Dataframe 如何将spark到elastic search的长历元列作为时间格式加载?,dataframe,apache-spark,elasticsearch,Dataframe,Apache Spark,elasticsearch,我有一个长数据类型列(finishedTime),它的历元时间以毫秒为单位。我正在尝试将此列加载到elastic search作为时间格式数据类型,以便可以查看时间线,但我无法这样做 我尝试转换为timestames类型,但考虑将其作为数字数据类型 val df1=myDF.withColumn("FinishTime",from_unixtime($"finishedTime"/1000).cast(TimestampType)) EsSparkSQL.saveToEs(df1,"app_m

我有一个长数据类型列(finishedTime),它的历元时间以毫秒为单位。我正在尝试将此列加载到elastic search作为时间格式数据类型,以便可以查看时间线,但我无法这样做

我尝试转换为timestames类型,但考虑将其作为数字数据类型

val df1=myDF.withColumn("FinishTime",from_unixtime($"finishedTime"/1000).cast(TimestampType)) 
EsSparkSQL.saveToEs(df1,"app_metrics")
我能够转换为日期数据类型,但失去了小时,分钟,秒

myDF.withColumn(“FinishTime”,到日期(从unixtime($“finishedTime”/1000))

有什么方法可以将历元时间加载为日期格式或任何时间格式吗?

我在这里找到了解决方案

.withColumn(“FinishTime”、日期格式(from_unixtime($“finishedTime”/1000)、“yyyy-MM-dd'HH:MM:ss.SSSZ”)

现在ES自动将其识别为日期数据类型