Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/xml/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
将XML文件(大小为500-600KB)作为Kafka消息传递的最佳方式是什么?_Xml_Apache Storm_Apache Kafka_Mq - Fatal编程技术网

将XML文件(大小为500-600KB)作为Kafka消息传递的最佳方式是什么?

将XML文件(大小为500-600KB)作为Kafka消息传递的最佳方式是什么?,xml,apache-storm,apache-kafka,mq,Xml,Apache Storm,Apache Kafka,Mq,我想读取流式XML文件并在ApacheStorm中解析它们。我使用Kafka作为MQ系统,对大小约为500KB的XML文件进行排队。我想将整个文件作为消息传递给KafkaSpout。我应该怎么做呢?按原样发送XML文件没有什么问题。考虑到有效负载的大小,您可能希望查看压缩选项,但发送XML不会导致问题 继续,把整个文件传过去。基于(我添加了相关细节) 我主要展示了100字节小消息的性能。较小的消息对于消息传递系统来说是一个更困难的问题,因为它们放大了系统的簿记开销。当我们改变记录大小时,我们可

我想读取流式XML文件并在ApacheStorm中解析它们。我使用Kafka作为MQ系统,对大小约为500KB的XML文件进行排队。我想将整个文件作为消息传递给KafkaSpout。我应该怎么做呢?

按原样发送XML文件没有什么问题。考虑到有效负载的大小,您可能希望查看压缩选项,但发送XML不会导致问题

继续,把整个文件传过去。基于(我添加了相关细节)


我主要展示了100字节小消息的性能。较小的消息对于消息传递系统来说是一个更困难的问题,因为它们放大了系统的簿记开销。当我们改变记录大小时,我们可以通过以记录/秒和MB/秒为单位绘制吞吐量图来显示这一点

因此,正如我们所期望的,这张图显示,随着记录越来越大,我们每秒可以发送的原始记录数会减少。但是,如果我们看看MB/秒,我们会发现随着消息变大,实际用户数据的总字节吞吐量会增加:


我们可以看到,对于10字节的消息,我们实际上是受CPU限制的,只需获取锁并排队发送消息,我们实际上无法最大限度地利用网络。然而,从100字节开始,我们实际上看到了网络饱和(尽管随着固定大小的簿记字节在发送的总字节中所占的比例越来越小,MB/秒仍在增加)。

我也有类似的问题。你能提供一个关于将文件从卡夫卡传递给斯托姆的例子吗。