我是新来的。。我被下面的错误绊住了 java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:599) at org.apache.zookeeper.ClientCnxn$SendT

我正在本地开发一个storm拓扑。我正在使用Storm 0.9.2-Cubating并开发了一个简单的拓扑。当我使用LocalCluster（）选项部署它时，它工作得很好，但它不会显示在我的Storm UI中，它只是执行而已 当我定期部署它时，它将在我的Storm UI中显示拓扑，但当我单击它时，不会看到喷口或螺栓 我还尝试了许多storm starter项目中的WordCountTopology示例。同样的行为也会发生 我的问题是，为什么喷口和螺栓没有出现？如果在本地部署拓扑而不使用Local

我在暴风雨中是新手，试图了解不同方法的执行流程，从spoot到bolt。 Like Spoot有不同的方法，如 nextTuple（） 开（） declareOutputFields（） 激活（） 停用（） 博尔特也有类似的方法 准备（） 执行（） 清理（） declareOutputFields（） 那么有谁能告诉我这些方法的执行顺序吗？首先，当您的拓扑启动时 创建喷口和螺栓 declareoutput字段 喷嘴/螺栓序列化并分配给工人 第二，在集群上某个位置的每个worker中 喷嘴打开和螺

我是新加入storm的，我提交了storm starter，我得到的是 我想一切都和我想的一样好，但是为什么acker_1发出0 在那之后我提交了我导入的项目 我试图杀死它，并在关闭nimbus、supervisor、drpc、ui和zookeeper连接后再次提交它，结果成功了 [！[在此处输入图像描述][3][3]检查你的阿克螺栓，看它是否发出某种东西。尝试在storm日志（storm_目录/logs/worker logport.log中的日志）中查找一些内容。日志文件中是否有错误？在

假设我们有以下拓扑 spout A -> bolt B -> bolt C -> bolt E 而螺栓E是最后一个，它将信息持久化到数据库中，因此不需要发出任何元组。如何实施这样的解决方案, 如果我定义了no输出\u字段，那么我会得到异常 Exception in thread "main" java.io.IOException: org.apache.storm.thrift.protocol.TProtocolException: Required field 'out

我有一个单一的拓扑结构，有两个喷口和两个螺栓。每个喷口都充当TCP服务器。在任何时刻，只有一个TCP服务器正在获取数据。两个TCP服务器无法并行处理数据。用两种不同的拓扑尝试了同样的事情，每种拓扑都有一个作为TCP服务器的喷口。两个不同的流被并行处理。整个设置仅在一台机器上进行。在第一种情况下会出现什么问题

我试着用三叉戟制作一个小例子。我们的目标是观察元组在发生故障时是如何重放的。下面是拓扑定义 Random rand = new Random(); Config config = new Config(); config.setDebug(true); config.setNumWorkers(1); TridentTopology topology = new TridentTopology();

我正在尝试运行两个tpoplogies，它们使用来自同一个kafka主题的数据，拓扑1可以很好地使用上面类似的代码，但拓扑2给出了错误 我得到卡夫卡喷口以下错误 kafka.common.OffsetAutoFrangeException在 sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）位于 sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstr

假设我们有一个具有以下两个属性的事件流： {"first_name", "last_name"} 我们使用FieldsGroup对两个属性进行分区： 处理螺栓由两个任务并行，以下事件按指定顺序进入流： 1: {"foo", "foo"} 2: {"bar", "bar"} 3: {"foo", "bar"} 现在事件1和2分别进入任务1和任务2，事件3会发生什么？如果它转到任一任务，它将中断属性的字段分组 Storm是如何处理的？还是我没有正确理解字段分组 编辑： 再想一想，我可能误解了F

对Storm还不熟悉，只是了解了喷口的概念以及如何在喷口中实现并行性 我定义了一个喷口a，设置了3个任务、3个执行器和1个螺栓（不用担心螺栓）。让我们假设每个喷口任务 他被指派了一名专职工作人员。这意味着有3个喷口准备接收流。消息或流（例如X）进入拓扑。这个在喷口里是怎么处理的 a。所有的喷口都能接收到水流A吗？如果是，则所有3个喷口都将处理该消息，并且同一消息将被多次处理，对吗？ B在上述情况下，谁来决定哪个喷口应该接收该流？ C是否可以平衡喷口上的负载？ D拓扑中应该只有一个喷口吗 S：考

我尝试对storm 1.1.1执行以下命令： storm[topologyName]-n[工作人员数量] 命令成功运行，但工作进程数保持不变。我也试着减少工人的数量。那也没用 我不知道发生了什么事。任何指针都会有帮助 供参考： 我已经实现了自定义计划？。是因为这个吗 您可以随时查看该CLI背后的Storm源代码。或对重新平衡进行编码（根据1.0.2进行测试）： RebalanceOptions rebalanceOptions = new RebalanceOptions(); rebalanc

我正在权衡使用Flink或Storm and Ignite的物联网用例设计方法的利弊。 考虑我创建了一个规则流，说明如果任何车辆越过规则中设置的阈值速度限制，那么流程应该触发一个动作将SMS发送到驾驶员编号。我创建的流在MongoDB中保存为JSON。我有一个1000个OBD设备（一秒钟内连续发送3次数据）的列表，并在另一个DB表中列出了相关的驾驶员手机号码。在我的设计中，我也在考虑使用内存数据库。卡夫卡正在处理数据收集 使用数据（车载诊断设备的唯一ID和驾驶员手机号）更新流量的最快和最具可扩展

为了使用最新版本的StormCrawler，我应该安装什么版本的Apache Storm Apache Storm 1.2.3或2.0.0 感谢在撰写本文时，StormCrawler的主分支基于中所示的Storm 1.2.3，但也有一个可用的分支。我曾多次尝试在这里表示感谢，但界面似乎不允许我..或者它。。。

我正在尝试风暴拓扑，但当我尝试运行调用工作进程的java命令时，风暴工作进程拒绝启动，我得到以下错误： Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "main" 588 [main] INFO org.apache.zookeeper.server.ZooKeeperServer - Server environment:java.library.path=

我需要一些帮助来理解为什么合并两个流会阻塞类的一个喷口fixedbatchspoot Short Description：我试图合并两条流s1和s2，但调用了拓扑。merge（s1，s2）阻止了s1发源的fixedbatchspoot（三叉戟喷口），而s2的baserichspoot（风暴喷口）似乎工作正常 Details：在下面的主方法中，只需添加行拓扑.merge（s1，s2）防止FixedBatchSpoot超过其第一批发出。这同样发生在multireduce中 FixedBatchSpo

我想在Storm中实现以下拓扑： a1->a2->a3->a4 | | -<----<-- b1->b2->b3->b4 | | -<----<-- 然后继续以同样的方式实施第二个要求： builder.setBolt("a2", new A2(), 1).shuffleGrouping("a4", "stream1"); 有更好的方法吗？我看到您的实现的唯一问题

我可以在Storm LocalCluster上部署我的C#拓扑吗？[不使用本地测试运行]

出于调试目的，启动拓扑时，我希望忽略启动前Kafka队列中的所有消息。我相信这可以通过设置spoutConfig.startOffsetTime和spoutConfig.useStartoffsettimeifoffsetautofrange来实现。但我已经尝试将它们分别设置为-1、-2、-3和真/假的每个排列。我的拓扑结构在启动时继续使用卡夫卡。（没有任何东西向卡夫卡发布新消息） 是否有可以用来忽略旧消息的配置？要从本质上清除卡夫卡队列？您是否正确配置了Zookeeper？最后一个偏移量可以存

下面是我的配置文件： storm.zookeeper.servers: - "10.13.0.91" - "10.13.0.93" - "10.13.0.104" nimbus.seeds: ["10.13.0.91", "10.13.0.93", "10.13.0.104"] storm.local.dir: "/data1/storm/state" storm.log.dir: "/data1/storm/log" nimbus.chi

有没有办法在ApacheStorm中启用日志调试。不是拓扑级别，而是主节点（nimbus.log）。希望为nimbus.log启用调试级别，以了解调度的具体工作方式。 我已经使用UI对拓扑进行了动态日志记录。在storm/log4j2/cluster.xml文件中配置了非工作日志记录。这是一个标准的Log4j2配置文件，因此请参阅Log4j2文档了解其工作原理 您应该能够在底部为希望从中获取日志的包添加一个新的记录器，并将级别设置为DEBUG

在ApacheStorm UI中，窗口指定应用统计信息的过去时间段。所以可能是10分钟，3小时，1天。但实际上，当一个拓扑运行时，发射/传输的元组数量是否可以使用这个窗口时间来计算，因为如果我看到10分钟的实际时间相当大，但窗口显示的是10分钟之前的统计数据，这是没有意义的？ 例如：发射=1764260元组，那么元组发射率是否为1764260/600=9801元组/秒？它不显示平均值，而是显示最后一段时间（10分钟、3小时或1天）发射的元组总数 因此，如果您在2分钟前启动该应用程序，它将显示过去

如果锚定到消息id的其中一个元组失败，其他元组将完全处理还是被风暴停止？锚定到相同消息id的其他元组将继续正常处理。Storm将立即使喷口处的消息id失败，这可能会导致喷口重试根元组 这种行为的原因是，要让喷口尝试告诉所有可能正在处理锚定到失败消息id的元组的螺栓该元组已经失败，这将是困难的/昂贵的

我有一个使用ApacheStorm创建的拓扑。我已经创建了不同的螺栓和喷口，以执行各种活动。但是，我计划创建一个自动化测试套件，用于测试拓扑的功能 如果你做过类似的事情，能给我一些帮助吗？或者给我推荐一种工具/语言来帮助我实现它？目前，我的拓扑结构是Java。最快的测试将是单元测试。如果您可以以与Storm的API分离的方式编写大部分业务逻辑，那么您可以将测试作为常规JUnit测试来编写，可以使用Mockito或存根协作者的类似工具。基本上是您的标准Java单元测试 对于需要检查是否正确使用St

假设Storm集群中有2个喷口和3个螺栓，有两个工作节点。这些喷口和螺栓是在这些工作人员之间共享的（例如，第一个工作人员有一个喷口和两个螺栓，第二个工作人员有一个喷口和一个螺栓），还是每个工作人员有两个喷口和三个螺栓，最后在整个集群中有四个喷口和六个螺栓？喷口和螺栓是由您的所有集群共享的（因此工作人员） 如果您有2个喷嘴和3个螺栓供2名工人使用，则它们将在您的2名工人之间保持平衡。 您可以使用ui（./nimbus ui）来可视化：）。在storm中，主管有多个工作（进程）槽。默认情况下，Sto

我需要一个功能在风暴，我知道（根据文件）尚未实施。我需要在运行时添加更多任务，而不需要初始大量任务，因为这可能会导致性能问题。因为每个执行器运行多个任务不会提高并行性级别——执行器总是有一个线程用于其所有任务，这意味着任务在执行器上串行运行 我知道rebalance命令可用于在运行时添加执行者和工作进程，有一条规则是#executors不确定您所说的“因为这些额外任务连续运行”是什么意思 任务用于利用数据并行性。理论上，可以添加代码来更改运行时的任务数。但这将是一个巨大的变化，而且目前还没有计划

我正在为storm（storm project.net）开发拓扑。我有两个远程集群：临时集群和生产集群 我在客户端（我在笔记本电脑上编写代码）上有两个storm.yaml文件，它们指向不同的远程集群production.storm.yaml和staging.storm.yaml 不幸的是，我知道在它们之间切换的唯一方法是在通过“storm jar”命令远程部署拓扑之前，将符号链接更改为~/.storm/storm.yaml。这很容易出错，并且会在项目源代码树中创建对客户端文件树中任意位置的内容的

我想成批处理元组，我正在考虑使用Trident API。但是，这里没有我成批执行的操作。每个元组都是单独处理的。这里我只需要一次语义，这样每个元组只处理一次，这是使用Trident的唯一原因 我希望存储处理哪个元组的信息，以便在重放批处理时，元组不会在已经处理的情况下执行 该拓扑包含一个persistentAggregate方法，但它需要一些聚合操作，但我没有任何聚合操作来对一组元组执行，因为每个元组都是单独处理的 在这里，元组执行的函数太小，无法执行。所以，为了节省计算资源和时间，我希望能够分

我已经阅读了有关Apache storm的内容，并做了一些基本教程。我想用storm实现以下拓扑，但不确定如何处理数据分布。 业务需求是 实时评估客户的投资组合。 简而言之，它包括： 1） 接受市场价格（货币、商品等）的动态变化 2） 对于每个价格勾选，计算每个头寸的当前利润，并将其转换为客户账户货币 3） 分析每个客户所有头寸的总损益和交易量，并根据需要生成信号 4） 在客户级别，计算必须是连续的、原子的/序列化的。 即，所有头寸必须按照其进入系统的顺序进行评估，并且即使客户有100个头寸，也

我正在使用Storm拓扑从Kafka队列读取数据，并使用单个喷口发射聚合。当我有一个单一的监控节点时，拓扑工作良好，喷口发射良好。但是，当添加第二个监控节点时，喷口停止发射。我能够使用storm ui验证是否有两个主管节点。两个节点上的supervisor.log或worker日志文件中都没有错误 请帮助我解决此问题。什么版本的storm？日志中是否有针对主管的内容？使用V-0.9.3。我看到一些工人在经过一段时间之后出现了Spring初始化异常。不知道为什么。

我们正在尝试用ApacheStorm实现一个web应用程序 应用程序接收大量的ad请求（100 TPS-100个事务/秒），对它们进行一些简单的计算，然后将结果存储在NoSQL数据库中，最大延迟为10 ms 我们使用Cassandra作为其书写功能的接收器 然而，我们已经超过了8毫秒的要求，我们的时间是100毫秒 我们尝试最小化缓冲区（干扰缓冲区）的大小，并使用螺栓的并行性来很好地平衡拓扑 但我们仍然在20ms 由于有4个工作线程（8个内核/16GB），我们的测试程序集达到了20k，但仍然很低

假设我部署了一个包含2个工人的拓扑，拓扑有1个喷口和1个螺栓，有2个任务。那么我的理解是，一名工人将运行喷口执行器和一个螺栓执行器，另一名工人将运行一个螺栓执行器 我的理解正确吗 如果我的理解是正确的，那么我的问题就来了。假设bolt是由Python实现的。由于storm通过stdout/stdin在多个lang螺栓之间传输数据，如果两个工人在不同的主机上运行，spout如何将数据发送到位于另一台主机上的螺栓？我自己做了一个测试。Storm可以将喷口排放的数据正确地传送到不同主机上的螺栓。要给出

我是新来的风暴。我在本地机器上安装了zookeeper、storm和java。动物园管理员工作得很好。当我尝试使用命令storm nimbus运行nimbus时，我得到了以下错误 错误状态记录器无法访问file:///log4j2/cluster.xml 错误状态记录器重新配置失败：在“null”中的“null”处未找到“511d50c0”的配置 我检查了storm.yaml文件，它非常完美。谁能帮我解决这个问题。你的风暴版本是什么 在较新版本中，问题是由配置文件的旧配置引起的：storm/co

我正在尝试实施Trident+DRPC。我设计的拓扑不会无限期地运行。我有两个独立的类，一个用于喷口实现，另一个用于实现DRPC和Trident。我的喷口类（一个延伸虹膜喷口的喷口）发出客户的id。i、 e public class TriSpout implements IRichSpout{ //some logic here spoutOutputCollector.emit(new Values(id)) } 现在，我从另一个类中的输出收集器获得了值，该类使用DRPC实

在我们运行“风暴罐”命令后，Nimbus动物园管理员工作人员将如何工作？在后台会发生什么过程？风暴拓扑的生命周期包括很多幕后步骤 有关在运行storm jar命令后到底发生了什么的详细说明 不幸的是，上面的链接引用的是旧版本的storm，我找不到任何更新的文档，但这应该会让你对相同的内容有一个更清晰的认识

zookeeper已成功安装并运行。但storm nimbus未运行引发如下异常 Exception in thread "main" java.lang.ExceptionInInitializerError at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:191) at backtype.storm.config$loading__4910__auto_

我是storm的新手，在遇到一些问题后，我成功地从github提交了不同的拓扑，比如storm starter和其他拓扑，但一些喷口并没有发出！那样 是这样吗？还是有问题 提交拓扑后在哪里可以找到结果？ 我在storm文件夹中的result文件中猜到了，但它是空的 这就是我在“他们中的一个” storm中没有明确的“结果”文件。拓扑负责随时随地处理/存储结果。您可以检查每个工作程序的日志文件以获取日志（System.out调用或记录器绑定）或者，您可以使用一个sink bolt将您需要的任何结

我已将我的hdp群集升级到2.5，并将storm core的拓扑依赖关系升级到1.0.1，将storm kafka的拓扑依赖关系升级到1.0.1。在使用新的1.0.1依赖项部署新拓扑后，后端中的一切都正常工作，但storm UI对于“已确认”、“已发出”、“已传输”等并不总是显示为零 Storm UI显示一条消息“旧版本不支持kafka的偏移滞后。请将kafka Spoot更新为最新版本。”在“拓扑喷动滞后错误”下，这是什么意思？HDP 2.5中的Apache Storm实际上与官方Apache

在创建风暴拓扑后，我遇到了一些奇怪的错误。在Storm UI的“拓扑喷射滞后错误”部分。它说： Unable to get offset lags for kafka. Reason: java.lang.NullPointerException at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags(KafkaOffsetLagUtil.java:269) at org.apache.storm.kafka.moni

我对使用storm感到困惑。我将使用数据流数据测量数据源的状态。状态将通过一些字段的组合来计算，这些字段可以实现不同的时间间隔。这就是为什么我需要保存字段来测量数据源的状态 我能用BaseStatefulBolt吗？或者唯一的解决办法就是三叉戟 他们之间有什么区别。因为三叉戟内部也有一家国营工厂 谢谢。我认为区别在于trident的级别高于BaseStatefulBol，它有一些计数选项，如分组、持久聚合、聚合 我使用trident计算每个用户的总浏览量。如果我们只关心当前的总计数，我认为我们可

我现在有一个拓扑运行了几天，它从前几天开始失败元组。从日志来看，元组似乎没有到达螺栓，附上的是Storm UI屏幕截图。 在我的代码中，我在finally中确认元组，因此不存在未确认元组的情况，并且超时设置为10秒，这比UI上显示的时间要高 有什么提示吗？你看到的日志只是卡夫卡喷口告诉你，它已经落后太多了，并且已经开始跳过元组 我相信只有acked元组才算是完整的延迟度量。失败的元组没有（Storm怎么知道超时的元组的实际延迟是多少），因此您看到的完整延迟仅适用于最初的两个已确认的元组 我认为发

我试图在远程模式下运行storm start示例。 当我使用以下方式向storm提交拓扑时： storm jar .\target\storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.ExclamationTopology myTopology 我在工作日志中遇到以下错误： 有人遇到过这样的问题吗？ 提前谢谢 2013-06-08 13:32:44 worker [ERROR] Error on initia

我正在Ubuntu 14.04中使用apache storm 0.9.3。我把动物园管理员，尼穆布斯，drpc，管理员，用户界面，工人放在同一个盒子里。从ui上看，它看起来不错： 我的storm.yaml配置如下： storm.zookeeper.servers: - "localhost" storm.zookeeper.port: 2181 nimbus.host: "localhost" storm.local.dir: "/var/stormtmp" java.library.pa

我一直在阅读有关ApacheStorm的文章，并尝试了StormStarter中的几个示例。还了解了如何优化拓扑以及如何扩展拓扑以足够快地执行以满足所需的吞吐量 我已经创建了启用确认的示例拓扑，我能够每秒处理3K-5K消息。在最初的10到15分钟或大约1到2分钟的消息中，它的执行速度非常快，然后开始变慢。在storm UI上，我可以看到整体延迟开始逐渐增加，但不会恢复，一段时间后处理速度下降到每秒几百次。对于我尝试过的所有类型，我都得到了完全相同的行为，最简单的一种是使用KafkaSpout读取

现在我正在学习Storm的保证消息处理，对这部分中的一些概念感到困惑 为了保证喷口发出的信息得到充分处理，Storm使用acker来实现这一点。每次喷口发出一个元组时，acker将分配初始化为0的“ack val”来存储元组树的状态。每次该元组的下游螺栓发出新元组或确认一个“旧”元组时，元组ID将与“ack val”异或。acker只需要检查“ack val”是否为0，就可以知道元组已被完全处理。让我们看看下面的代码： public class WordReader implements IRi

喷口中有msgId，用于确认和失败，问题是我可以从螺栓中获取此msgId吗？否，您只能获取此螺栓处理的元组的msgId 如果您想获取源msgid，并将喷口发出，则必须将id与消息一起发出 我认为您不需要消息id。如果您使用的是storm kafka，则可以使用以下方案获得作为元组一部分发出的分区和偏移量。您可以将其设置为您的配置的一部分 如果您使用的是storm kafka客户端，默认情况下它会发出此信息谢谢您的回答。问题是，我使用的是开箱即用的KafkaSpout，它不允许我更改它发出任务的方

问题正如标题所示，在集群启动后，监控器日志中没有打印错误。每当提交jar时，监管者日志中就会报告无法连接本地主机nimbus的错误 1、这是我的yaml： storm.zookeeper.servers: - "beta-hbase02" - "beta-hbase03" - "beta-hbase04" storm.zookeeper.root: "/storm" nibus.seeds: ["beta-hbase01"] storm.local.dir: "/var/

我有一个喷口，从一个40K qps的源读取。 我有两个螺栓，第一个螺栓从源代码读取数据并进行数据库连接以构建缓存，缓存每小时刷新一次。数据库为一个用户打开了2个连接，所以我对这个螺栓的执行器计数是2 其他螺栓被分配200个执行器和200个任务来处理请求 我无法增加到db的连接。我看到所有的要求都是单身工人。其他工作人员继续等待并打印“0发送消息” 我正在使用localandgroupshuffling 使用localorshufflegroup时，会发生以下情况： 如果目标bolt在同一个工作进

例如，我有一个由1个喷口和4个螺栓组成的拓扑 spout A -> bolt B -> bolt C -> bolt E -> bolt D 只有当螺栓B中的某个条件语句为true时，它才会将一个元组传递给螺栓C和螺栓D 只有当bolt C中的某个条件语句为true时，它才会将一个元组传递给bolt E 所以单元组可能只到达螺栓B或（螺栓C和D） 我使用的是BaseBasicBolt，据我所知，它会在调用collector.emit后

我想知道有状态的bolt在处于prepare和commit状态时是否停止处理元组，这是同步机制，我检查了源代码，感觉bolt会根据收到的检查点元组或正常元组进入相应的处理。因此，如果正在执行检查点操作，则不执行正常计算，即同步机制。这是正确的吗

我是暴风雨的初学者。Storm的创建者创建了一个非常令人印象深刻的方法来检查拓扑中的每个螺栓，它使用XOR。 但我开始想他为什么不使用柜台。成功执行螺栓后，计数器将减1。因此，当计数器等于0时，表示整个任务已完成 谢谢我相信可以解释为什么计数器不仅效率低下，而且在始终运行的拓扑结构中是不正确的acker-tracker机制 风暴元组拓扑本身可能是一个复杂的DAG。当一个bolt从多个下游源接收到ack时，它与计数器有什么关系？它应该增加它们吗？它应该总是减少它们吗？按什么顺序 风暴元组具有随