Python 删除在pyspark中使用numpy.savetxt创建的csv文件
我是pyspark和python的新手。 使用Python 删除在pyspark中使用numpy.savetxt创建的csv文件,python,numpy,pyspark,Python,Numpy,Pyspark,我是pyspark和python的新手。 使用numpy.savetxt（“test.csv”，file，delimiter='，”）在本地系统中保存文件后 我正在使用os删除该文件操作系统删除（“test.csv”）。我收到一个错误，java.io.FileNotFoundException文件：/someDir/test.csv不存在。文件numpy.savetxt（）仅创建具有读取权限的文件。如何使用读写权限保存该文件。 使用spark 2.1版看起来您的spark工作人员无法访问该文件。
numpy.savetxt（“test.csv”，file，delimiter='，”）在本地系统中保存文件后numpy.savetxt（）使用spark 2.1版看起来您的spark工作人员无法访问该文件。您可能正在不同的服务器上运行master和worker。当您尝试处理文件时，在不同计算机上设置工作人员时，请确保这些工作人员可以访问该文件。您可以将所有工作人员中的相同文件副本保留在完全相同的位置。建议始终使用类似Hadoop之类的DFS“hdfs://path/file". 执行此操作时，工作人员可以访问这些文件。 详情如下：
spark可能与此无关，因为您正在使用numpy的API在本地保存文件。您是否手动检查了在
numpy.savetxtfilerdd=sc.textFile（“file:///path/to/file.txt“”