Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/unix/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 转换整数YYYYMMDD到日期pyspark_Apache Spark_Pyspark_Apache Spark Sql_Date Formatting - Fatal编程技术网

Apache spark 转换整数YYYYMMDD到日期pyspark

Apache spark 转换整数YYYYMMDD到日期pyspark,apache-spark,pyspark,apache-spark-sql,date-formatting,Apache Spark,Pyspark,Apache Spark Sql,Date Formatting,我正在尝试使用Pyspark将Databricks中的INT列转换为date列。 该列如下所示: 报告日期 20210102 20210102 20210106 20210103 20210104 我正在尝试使用CAST函数 df = df.withColumn("Report_Date", col("Report_Date").cast(DateType())) 但我得到了以下错误: 由于数据类型不匹配,无法将“CAST”Report_Date“AS

我正在尝试使用Pyspark将Databricks中的INT列转换为date列。 该列如下所示:

报告日期 20210102 20210102 20210106 20210103 20210104 我正在尝试使用CAST函数

df = df.withColumn("Report_Date", col("Report_Date").cast(DateType()))
但我得到了以下错误:

由于数据类型不匹配,无法将“CAST”Report_Date“AS Date”解析为:无法将int转换为Date


您知道如何获得预期的输出吗?

首先转换为字符串类型,然后使用to\u date:

import pyspark.sql.functions as F

df2 = df.withColumn(
    "Report_Date", 
    F.to_date(F.col("Report_Date").cast("string"), "yyyyMMdd")
)