Javascript 使用snappy的kafka节点js客户端压缩问题

Javascript 使用snappy的kafka节点js客户端压缩问题,javascript,node.js,apache-kafka,snappy,Javascript,Node.js,Apache Kafka,Snappy,我正在使用kafka节点()使用者检索数据。我想我得到的数据是用SNAPPY压缩的。获取数据后如何解压缩。我尝试使用node snappy()解压数据,但没有成功 库中是否有将压缩设置为无的选项 有人使用卡夫卡节点库从卡夫卡获取数据吗 谢谢, chandu我也遇到了这些确切的问题。我终于找到了解决办法!您可以使用kafkacat('like netcat for kafka'),这需要。这使您能够使用librdkafka C/C++库从命令行与Kafka交互。(不需要JVM=D) 现在我们已经处

我正在使用kafka节点()使用者检索数据。我想我得到的数据是用SNAPPY压缩的。获取数据后如何解压缩。我尝试使用node snappy()解压数据,但没有成功

库中是否有将压缩设置为无的选项

有人使用卡夫卡节点库从卡夫卡获取数据吗

谢谢,
chandu

我也遇到了这些确切的问题。我终于找到了解决办法!您可以使用kafkacat('like netcat for kafka'),这需要。这使您能够使用librdkafka C/C++库从命令行与Kafka交互。(不需要JVM=D)

现在我们已经处理了这些依赖关系,我们可以使用这个有趣的node.js repo:

您会发现这三个库之间可能有足够的文档来帮助您入门,而且与github上的其他一些kafka节点模块不同,它们似乎是最近更新的


到目前为止,我只成功地安装了Linux和Mac,但在我们的Apache/Java环境中,一切都很顺利。顺便说一句,我不是这些软件包的作者,只是一些人在过去几周一直希望你的问题能得到回答

默认情况下,压缩由生产者通过配置属性“compression.type”确定。目前支持gzip、snappy和lz4。kafka节点应自动解压缩gzip和snappy。我刚用snappy试过,这是开箱即用的。lz4目前似乎不是由kafka节点实现的

可以使用配置属性“Compression.type”配置压缩:

  • 每位经纪人:。默认值:生产者决定压缩
  • 每个主题:(向下滚动)。默认值:生产者决定压缩
  • 每生产商:。默认值:无

如果不能影响制作者,可以考虑重写主题配置。

另外,请注意,kafka节点可能不会像您预期的那样直接返回数据。例如,我的(key,value)对是(integer,integer)类型,我必须调用message.key.readIntBE()和message.value.readIntBE()来提取整数值

希望这有帮助