Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 将包含日期的列表添加到PySpark数据框_Python_Apache Spark_Pyspark_Apache Spark Sql - Fatal编程技术网

Python 将包含日期的列表添加到PySpark数据框

Python 将包含日期的列表添加到PySpark数据框,python,apache-spark,pyspark,apache-spark-sql,Python,Apache Spark,Pyspark,Apache Spark Sql,我创建了一个日期列表,希望将其添加到StructType=StringType的Spark数据框中。但是,下面的最终df仅包含空值 #步骤1:创建数据范围并放入列表 start_date = '2020-05-01' end_date = '2020-05-10' my_dates = pd.date_range(start_date,end_date).tolist() #步骤2:将列表添加到Spark Df cSchema = StructType([StructField("

我创建了一个日期列表,希望将其添加到StructType=StringType的Spark数据框中。但是,下面的最终df仅包含空值

#步骤1:创建数据范围并放入列表

start_date = '2020-05-01'
end_date = '2020-05-10'

my_dates = pd.date_range(start_date,end_date).tolist()
#步骤2:将列表添加到Spark Df

cSchema = StructType([StructField("date", ArrayType(StringType()))])

df2 = spark.createDataFrame(my_dates,schema,cSchema)

也许你可以试试这样:

start_date = '2020-05-01'
end_date = '2020-05-10'

my_dates = pd.date_range(start_date,end_date).tolist()

new_df = spark.createDataFrame([(value,) for value in mydates], ['date'])
new_df.show()

使用spark.createDataFrame而不使用任何架构,然后转换为字符串