Apache storm Apache storm-使用storm群集映射拓扑

我读了很多有关风暴的网站。 但我仍然无法将拓扑完美地映射到风暴群中

请帮助我理解这一点

在风暴群中有这样的术语

• 主管
• 工作节点
• 工作处理器
• 工人
• 槽
• 执行者
• 任务

在拓扑中，有

• 喷口
• 插销

此外，还可以进行配置

• 女工
• 平行性

所以任何人都请把这些事情联系起来帮助我

我想知道，每个喷口/螺栓都是act executer，还是任务。 如果给出并行性提示，则哪个实体的计数将增加。 如果设置了num workers，那么该计数是哪一个

所有这些都需要用风暴群来绘制。

---

我已经在一个项目中工作过。所以我知道拓扑结构。

物理群集设置：

术语节点通常指集群中的物理机器（或VM）。在每个节点上，一个管理器在自己的JVM中运行。主管有工作槽。这是一个逻辑配置，说明一个主管可以启动多少个工作进程。每个工作进程（如果启动）都在自己的JVM中运行（因此，有些人称之为工作进程）。总之：在一个节点上有一个主管JVM和最多个工作机插槽工作机JVM。因此，工作JVM运行的节点可以称为工作节点。当主管一直在运行时，如果需要（即，如果已部署拓扑），将启动工作进程，并在拓扑终止时停止工作进程。在工作线程中，执行器作为线程运行（即，每个执行器映射到自己的线程）

逻辑拓扑设置：

拓扑由喷口（也称为源，即没有传入数据流的操作符）和螺栓（至少有一个传入数据流和任意数量的传出数据流的常规操作符——如果没有传出数据流，螺栓也称为接收器）构建而成。对于每个喷嘴/螺栓，您可以配置两个参数：

任务数

dop（并行度，称为

并行度_hint

），即您想要的喷口/螺栓执行器数量

任务是工作的逻辑单位（即被动的东西）。假设您使用

字段分组

连接模式。因此，数据流被划分为多个任务和多个子流。任务分配给执行者，即每个执行者处理一个或多个任务。这意味着，您的任务不能少于执行者（即并行性）；否则，将有一个线程没有任何工作要做

有关更多详细信息，请参阅Storm文档（）。此外，关于Storm中的任务/执行者还有许多其他问题

最后，您可以为拓扑配置

numberOfWorkers

。此参数指示应启动多少工人来运行拓扑。拓扑的执行器总数是所有喷口/螺栓上的DOP之和。所有执行者将均匀分布在所有可用的工作JVM上

---

此外，单个辅助进程只能运行单个拓扑的执行器。这样做是出于容错的原因，即拓扑相互隔离。同时，工作进程本身可以运行任意数量的执行程序。

物理群集设置：

术语节点通常指集群中的物理机器（或VM）。在每个节点上，一个管理器在自己的JVM中运行。主管有工作槽。这是一个逻辑配置，说明一个主管可以启动多少个工作进程。每个工作进程（如果启动）都在自己的JVM中运行（因此，有些人称之为工作进程）。总之：在一个节点上有一个主管JVM和最多个工作机插槽工作机JVM。因此，工作JVM运行的节点可以称为工作节点。当主管一直在运行时，如果需要（即，如果已部署拓扑），将启动工作进程，并在拓扑终止时停止工作进程。在工作线程中，执行器作为线程运行（即，每个执行器映射到自己的线程）

逻辑拓扑设置：

拓扑由喷口（也称为源，即没有传入数据流的操作符）和螺栓（至少有一个传入数据流和任意数量的传出数据流的常规操作符——如果没有传出数据流，螺栓也称为接收器）构建而成。对于每个喷嘴/螺栓，您可以配置两个参数：

任务数

dop（并行度，称为

并行度_hint

），即您想要的喷口/螺栓执行器数量

任务是工作的逻辑单位（即被动的东西）。假设您使用

字段分组

连接模式。因此，数据流被划分为多个任务和多个子流。任务分配给执行者，即每个执行者处理一个或多个任务。这意味着，您的任务不能少于执行者（即并行性）；否则，将有一个线程没有任何工作要做

有关更多详细信息，请参阅Storm文档（）。此外，关于Storm中的任务/执行者还有许多其他问题

最后，您可以为拓扑配置

numberOfWorkers

。此参数指示应启动多少工人来运行拓扑。拓扑的执行器总数是拓扑上的DOP之和