Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
hadoop中的标准级别_Hadoop_Zstandard - Fatal编程技术网

hadoop中的标准级别

hadoop中的标准级别,hadoop,zstandard,Hadoop,Zstandard,org.apache.hadoop.io.compress.zstd.ZStandardCompressor中的压缩级别似乎不起作用。我看到在ZStandardCompressor构造函数中调用了重置函数,这是调用init(level,stream)来调用本机函数,我认为这是唯一设置zstd参数的地方。 在我的测试中,我确保这是被调用的,但称它为不同的级别,如1、5、10。20 etc没有造成任何差异,因为输出大小完全相同 Hadoop似乎没有使用zstdJNI,而是使用自己的东西来使用zstd

org.apache.hadoop.io.compress.zstd.ZStandardCompressor中的压缩级别似乎不起作用。我看到在ZStandardCompressor构造函数中调用了重置函数,这是调用init(level,stream)来调用本机函数,我认为这是唯一设置zstd参数的地方。 在我的测试中,我确保这是被调用的,但称它为不同的级别,如1、5、10。20 etc没有造成任何差异,因为输出大小完全相同


Hadoop似乎没有使用zstdJNI,而是使用自己的东西来使用zstd。我确信人们在hadoop中使用不同的级别。你能告诉我下一步该怎么做吗?

鉴于人们发现这个问题没有答案,我正在添加我使用的解决方案。InternalParquetRecordWriter以compressor作为参数,因此我在这里集成了zstd jni库,通过扩展ByteInputCompressor创建了一个compressor。

对答案也非常感兴趣。您是如何传递级别值的?我创建了CustomParquetWriter,我们在其中创建了与当前拼花代码类似的InternalParquetRecordWriter,但我传递了自己的zstd压缩器。我错过了早些时候的评论,很抱歉反应太晚