Apache storm 单节点中的storm执行问题

我们在单节点开发服务器中配置了Storm，大多数配置设置为默认（非本地模式）。 只有storm nimbus、主管和工作人员在该单个节点中运行，并且还配置了UI

AFAIK并行性和配置因拓扑而异。 我认为找到正确的并行性和配置只是通过尝试和错误的方法

因此，为了找到最佳的并行性，我们已经开始在单个节点中使用各种配置测试Storm拓扑

奇怪的是，结果出乎意料：

我们的拓扑处理来自HDFS目录的xml文件流。 有一个单喷嘴（平行度始终为1）和四个螺栓

• 单身工人

无论拓扑并行性如何，我们都能获得几乎相同的性能结果（数据处理率）

• 多工

无论拓扑并行性如何，我们都可以获得与单个工作程序类似的性能，直到某个时候（大多数情况下是10分钟）

但在此之后，完整的拓扑重新启动，没有任何错误跟踪

我们观察到，在20分钟内处理任何数据时，单个工人需要90分钟，而5个工人具有相同的并行性。 此外，拓扑已重新启动7次，共有5名工作人员。 而且CPU使用率相对较高。 （其他人也遇到过此拓扑重启问题，但没有回答）

在测试了许多配置之后，我们发现平行度较低的单个辅助对象（每个螺栓有2个或3个实例）比高度并行或较多辅助对象的效果更好

理想情况下，Storm拓扑的性能应该更好，没有更多的工作线程/并行

显然，这条规则在这里不适用

为什么我们不能在单个节点中设置多个worker

单个节点中可以运行的最大工作进程数是多少

---

为了扩展性能，需要对Storm配置进行哪些更改？（我试过nimbus.childopts和worker.childopts）

如果一个节点上的CPU使用率很高，那么随着并行度的提高，您将无法获得更好的性能。如果您确实增加了并行性，那么对于恒定数量的CPU周期，将会有更大的争用。由于不知道您的具体拓扑结构，我只能建议您寻找减少螺栓和喷嘴之间CPU使用的方法。只有这样，您才能添加更多螺栓和喷嘴实例。

您正在测试Storm的机器的配置是什么？你是不是也犯了同样的错误？我不明白你的意思。当然，您可以在一个节点（storm硬件）中定义多个工作进程。我在每个节点上使用2个或更多的工作线程（如果一个工作线程死了，还剩下一个工作线程，所以我尽量避免storm集群中的“死”硬件，因为应该还有一个工作线程）。平均CPU使用率仅低于40%。请查看下面的SAR命令输出。下午12:30:01 CPU%用户%nice%系统%iowait%偷窃%空闲12:40:01所有0.28 0.00 0.24 0.02 0.00 99.46 12:50:01所有30.75 0.00 7.37 0.36 0.00 61.52 01:00:01所有22.33 0.00 6.69 0.23 0.00 70.76