hadoop中的标准级别
org.apache.hadoop.io.compress.zstd.ZStandardCompressor中的压缩级别似乎不起作用。我看到在ZStandardCompressor构造函数中调用了重置函数,这是调用init(level,stream)来调用本机函数,我认为这是唯一设置zstd参数的地方。 在我的测试中,我确保这是被调用的,但称它为不同的级别,如1、5、10。20 etc没有造成任何差异,因为输出大小完全相同hadoop中的标准级别,hadoop,zstandard,Hadoop,Zstandard,org.apache.hadoop.io.compress.zstd.ZStandardCompressor中的压缩级别似乎不起作用。我看到在ZStandardCompressor构造函数中调用了重置函数,这是调用init(level,stream)来调用本机函数,我认为这是唯一设置zstd参数的地方。 在我的测试中,我确保这是被调用的,但称它为不同的级别,如1、5、10。20 etc没有造成任何差异,因为输出大小完全相同 Hadoop似乎没有使用zstdJNI,而是使用自己的东西来使用zstd
Hadoop似乎没有使用zstdJNI,而是使用自己的东西来使用zstd。我确信人们在hadoop中使用不同的级别。你能告诉我下一步该怎么做吗?鉴于人们发现这个问题没有答案,我正在添加我使用的解决方案。InternalParquetRecordWriter以compressor作为参数,因此我在这里集成了zstd jni库,通过扩展ByteInputCompressor创建了一个compressor。对答案也非常感兴趣。您是如何传递级别值的?我创建了CustomParquetWriter,我们在其中创建了与当前拼花代码类似的InternalParquetRecordWriter,但我传递了自己的zstd压缩器。我错过了早些时候的评论,很抱歉反应太晚