Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 不带扩展名的PySpark S3 Gzip文件_Apache Spark_Amazon S3_Pyspark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 不带扩展名的PySpark S3 Gzip文件

Apache spark 不带扩展名的PySpark S3 Gzip文件

apache-spark amazon-s3 pyspark

Apache spark 不带扩展名的PySpark S3 Gzip文件,apache-spark,amazon-s3,pyspark,Apache Spark,Amazon S3,Pyspark,我正试图通过PySpark从S3读取一堆Gzip CSV文件。通常情况下，textFile或spark csv会自动解压缩gzip，但我正在处理的文件没有.gz扩展名，因此最终会被作为压缩文件读取。有数以百万计的文件，它们属于另一个团队，每天更新多次 有没有办法强制告诉textFile或spark csv API压缩样式？或者是否有其他方法可以复制和重命名文件？Related:Related:

我正试图通过PySpark从S3读取一堆Gzip CSV文件。通常情况下，textFile或spark csv会自动解压缩gzip，但我正在处理的文件没有.gz扩展名，因此最终会被作为压缩文件读取。有数以百万计的文件，它们属于另一个团队，每天更新多次

有没有办法强制告诉textFile或spark csv API压缩样式？或者是否有其他方法可以复制和重命名文件？

Related:Related: