Python 将包含日期的列表添加到PySpark数据框
我创建了一个日期列表,希望将其添加到StructType=StringType的Spark数据框中。但是,下面的最终df仅包含空值 #步骤1:创建数据范围并放入列表Python 将包含日期的列表添加到PySpark数据框,python,apache-spark,pyspark,apache-spark-sql,Python,Apache Spark,Pyspark,Apache Spark Sql,我创建了一个日期列表,希望将其添加到StructType=StringType的Spark数据框中。但是,下面的最终df仅包含空值 #步骤1:创建数据范围并放入列表 start_date = '2020-05-01' end_date = '2020-05-10' my_dates = pd.date_range(start_date,end_date).tolist() #步骤2:将列表添加到Spark Df cSchema = StructType([StructField("
start_date = '2020-05-01'
end_date = '2020-05-10'
my_dates = pd.date_range(start_date,end_date).tolist()
#步骤2:将列表添加到Spark Df
cSchema = StructType([StructField("date", ArrayType(StringType()))])
df2 = spark.createDataFrame(my_dates,schema,cSchema)
也许你可以试试这样:
start_date = '2020-05-01'
end_date = '2020-05-10'
my_dates = pd.date_range(start_date,end_date).tolist()
new_df = spark.createDataFrame([(value,) for value in mydates], ['date'])
new_df.show()
使用spark.createDataFrame而不使用任何架构,然后转换为字符串