Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/342.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何控制spark中输出拼花文件的大小_Python_Apache Spark_Hadoop_Pyspark_Bigdata - Fatal编程技术网

Python 如何控制spark中输出拼花文件的大小

Python 如何控制spark中输出拼花文件的大小,python,apache-spark,hadoop,pyspark,bigdata,Python,Apache Spark,Hadoop,Pyspark,Bigdata,我有一个spark作业,可以从配置单元表读取数据。 例: 我必须用256mb的拼花文件将结果写入hdfs位置 我正在努力 r.write.parquet("/data_dev/work/experian/test11") 这将生成30MB的文件 但我需要它来生成256MB的文件 我也尝试了这些配置 r.write.option("parquet.block.size", 256 * 1024 * 1024 ). \ parquet("/path") 不过,生成的

我有一个spark作业,可以从配置单元表读取数据。
例:

我必须用256mb的拼花文件将结果写入hdfs位置

我正在努力

r.write.parquet("/data_dev/work/experian/test11")
这将生成30MB的文件 但我需要它来生成256MB的文件

我也尝试了这些配置

r.write.option("parquet.block.size", 256 * 1024 * 1024 ). \
               parquet("/path")

不过,生成的文件似乎是~30MB文件

我认为没有任何直接的方法可以控制Spark中的大小。 请参考此链接:

r.write.option("parquet.block.size", 256 * 1024 * 1024 ). \
               parquet("/path")