使用pyspark将文件写入HDFS df.write.mode('overwrite').option('header','false').csv('hdfs://:8000/stage/files/example.csv'))
为此,我尝试使用pyspark代码将csv文件写入HDFS。但它以目录格式存储,而不是以文件格式存储。 同样,如果我使用pyspark执行任何hdfs操作,那么所有文件都以目录格式存储,如下所示使用pyspark将文件写入HDFS df.write.mode('overwrite').option('header','false').csv('hdfs://:8000/stage/files/example.csv')),pyspark,hdfs,Pyspark,Hdfs,为此,我尝试使用pyspark代码将csv文件写入HDFS。但它以目录格式存储,而不是以文件格式存储。 同样,如果我使用pyspark执行任何hdfs操作,那么所有文件都以目录格式存储,如下所示 df.write.mode('overwrite').option('header','false').csv('hdfs://<hostname>:8000/stage/files/example.csv') drwxr-xr-x-adm超级组0 2020-09-24 07:44 hdf
df.write.mode('overwrite').option('header','false').csv('hdfs://<hostname>:8000/stage/files/example.csv')
drwxr-xr-x-adm超级组0 2020-09-24 07:44 hdfs://:8000/stage/files/example.csv
例如,我有一个模型文件,需要在其中保存模型文件,例如,model.write().overwrite().save(hdfspath+“filename.model”),但它也以目录格式而不是简单的文件格式存储
我做错什么了吗
drwxr-xr-x - adm supergroup 0 2020-09-24 07:44 hdfs://<hostname>:8000/stage/files/example.csv