Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/.htaccess/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用pyspark将文件写入HDFS df.write.mode('overwrite').option('header','false').csv('hdfs://:8000/stage/files/example.csv'))_Pyspark_Hdfs - Fatal编程技术网

使用pyspark将文件写入HDFS df.write.mode('overwrite').option('header','false').csv('hdfs://:8000/stage/files/example.csv'))

使用pyspark将文件写入HDFS df.write.mode('overwrite').option('header','false').csv('hdfs://:8000/stage/files/example.csv')),pyspark,hdfs,Pyspark,Hdfs,为此,我尝试使用pyspark代码将csv文件写入HDFS。但它以目录格式存储,而不是以文件格式存储。 同样,如果我使用pyspark执行任何hdfs操作,那么所有文件都以目录格式存储,如下所示 df.write.mode('overwrite').option('header','false').csv('hdfs://<hostname>:8000/stage/files/example.csv') drwxr-xr-x-adm超级组0 2020-09-24 07:44 hdf

为此,我尝试使用pyspark代码将csv文件写入HDFS。但它以目录格式存储,而不是以文件格式存储。 同样,如果我使用pyspark执行任何hdfs操作,那么所有文件都以目录格式存储,如下所示

df.write.mode('overwrite').option('header','false').csv('hdfs://<hostname>:8000/stage/files/example.csv')
drwxr-xr-x-adm超级组0 2020-09-24 07:44 hdfs://:8000/stage/files/example.csv
例如,我有一个模型文件,需要在其中保存模型文件,例如,model.write().overwrite().save(hdfspath+“filename.model”),但它也以目录格式而不是简单的文件格式存储

我做错什么了吗

drwxr-xr-x   - adm supergroup          0 2020-09-24 07:44 hdfs://<hostname>:8000/stage/files/example.csv