Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/291.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 向spark中的数据帧添加ascii字符_Python_Pandas_Dataframe_Apache Spark - Fatal编程技术网

Python 向spark中的数据帧添加ascii字符

Python 向spark中的数据帧添加ascii字符,python,pandas,dataframe,apache-spark,Python,Pandas,Dataframe,Apache Spark,当前有一个数据帧,我想在最后一行中放置一个ASCII字符。我有一个大约17列的pandas数据框,并创建了一个新行的新数据框 newrow=pd.DataFrame(列=['A'、'B'、'C'、'D'…等等])newrow.loc[0]=[chr(26),'','','','','','','','','','','','','',newrow.head() 然后将其附加到原始数据帧中 df= df.append(newrow, sort=False, ignore_index=True)

当前有一个数据帧,我想在最后一行中放置一个ASCII字符。我有一个大约17列的pandas数据框,并创建了一个新行的新数据框

newrow=pd.DataFrame(列=['A'、'B'、'C'、'D'…等等])newrow.loc[0]=[chr(26),'','','','','','','','','','','','','',newrow.head()

然后将其附加到原始数据帧中

df= df.append(newrow, sort=False, ignore_index=True)
但是,一旦我将此数据帧保存为spark数据帧并将其输出为csv,我就看不到所需的ascii字符

    spark_df = spark.createDataFrame(First_Final)
save_location= "abfss://landing@cloudbistorage.dfs.core.windows.net/llanding/P2P/FinalDF"+First
csv_location = save_location+"temp.folder"
file_location = save_location+'.out'

spark_df.repartition(1).write.csv(path=csv_location, mode="overwrite", header="false", sep='\t')

file = dbutils.fs.ls(csv_location)[-1].path
dbutils.fs.cp(file, file_location)
dbutils.fs.rm(csv_location, recurse=True)
一旦我在登录中刷新,csv就不包含我要求的ascii字符。我该如何着手解决这个问题?我是否应该添加一个仅包含ascii字符的新行,并以这种方式追加,尽管列数不同


谢谢

您可以直接使用pandas的内置功能:
df.to_csv()
无需将其转换为spark数据帧