Jms Storm作为多线程消费者/生产者方法的替代品来处理高容量?

Jms Storm作为多线程消费者/生产者方法的替代品来处理高容量?,jms,producer-consumer,apache-storm,Jms,Producer Consumer,Apache Storm,我们有一个现有的设置,上游系统通过消息队列向我们发送消息,我们处理这些消息。内容是xml,我们只需解组。该解组步骤之后是对db的写入(将相关值放入相关列)。 该系统将与更多上游系统连接,我们的流量将增加到每天40mm的峰值 我们当前的处理方式是在队列上有监听器,然后有多个生产者和消费者线程来进行解组和后续的db写入 我的问题:这个过程是否适合Storm用例场景? 我的意思是MQ可以成为我的喷口,我有两个螺栓,一个要解组,然后这个螺栓成为下一个螺栓的喷口,下一个螺栓将写入db 如果是,我能得到什么

我们有一个现有的设置,上游系统通过消息队列向我们发送消息,我们处理这些消息。内容是xml,我们只需解组。该解组步骤之后是对db的写入(将相关值放入相关列)。 该系统将与更多上游系统连接,我们的流量将增加到每天40mm的峰值

我们当前的处理方式是在队列上有监听器,然后有多个生产者和消费者线程来进行解组和后续的db写入

我的问题:这个过程是否适合Storm用例场景? 我的意思是MQ可以成为我的喷口,我有两个螺栓,一个要解组,然后这个螺栓成为下一个螺栓的喷口,下一个螺栓将写入db

如果是,我能得到什么好处?这是对繁琐的多线程生产者/工作者代码模式的告别。 如果它像上面那样简单,那么在生产者/消费者场景中,哪里/为什么要采用传统的多线程方法 我的观点是,与传统方法相比,风暴开始出现的数据量/频率

附言:我对这一点非常陌生,我正试图掌握这一点,并想确定这一思路是否正确

问候,,
CVM

毫无疑问,这种情况可以适用于风暴拓扑。喷口可以从MQ中拉出,螺栓可以处理解组和后续处理

与传统的多线程模式相比,它的主要优点是能够随着负载的增加添加更多的工作节点。这对于传统的生产者-消费者模式来说并不容易


具体的数据卷数量是一个非常广泛的问题,因为它取决于大量的因素,如硬件等。

这个问题可能过于广泛,因此无法在此有效回答。在storm用户邮件列表中,您的运气可能会更好。