Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 使用spark(python)创建zip文件_Apache Spark_Pyspark_Apache Spark Sql - Fatal编程技术网

Apache spark 使用spark(python)创建zip文件

Apache spark 使用spark(python)创建zip文件,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,我正在尝试从几个文件创建一个zip文件。例如,我有3个文件 file1 file2 file3 我想创建一个包含所有这些文件的zip文件夹 有什么方法可以在Spark(Python)中创建包含多个文件的zip文件夹吗?首先,Spark是一个同样使用Python语言的框架。在这个问题上,我不明白你是如何将zip文件和spark联系起来的 如果您想在python中创建zip文件,请查看zipfileslibrary。如果你被卡住了,试着在这里复制你的代码。然后我们会尽力帮忙 from zipfi

我正在尝试从几个文件创建一个zip文件。例如,我有3个文件

file1
file2
file3
我想创建一个包含所有这些文件的zip文件夹


有什么方法可以在Spark(Python)中创建包含多个文件的zip文件夹吗?

首先,Spark是一个同样使用Python语言的框架。在这个问题上,我不明白你是如何将zip文件和spark联系起来的

如果您想在python中创建zip文件,请查看
zipfiles
library。如果你被卡住了,试着在这里复制你的代码。然后我们会尽力帮忙

 from zipfile import ZipFile  
 # create a ZipFile object
    with ZipFile('sampleDir.zip', 'w') as zipObj:
        # Iterate over all the files in directory
        for folderName, subfolders, filenames in os.walk(dirName):
            for filename in filenames:
                #create complete filepath of file in directory
                filePath = os.path.join(folderName, filename)
                # Add file to zip
                zipObj.write(filePath)

o/p:

sampleDir/file1.csv                      2018-11-30 21:44:46         2829
sampleDir/file2.csv                      2018-11-30 21:44:36         3386
sampleDir/file3.csv                      2018-11-30 21:44:56         3552