假设我有字段列表,即,{field1,field2,field3,field4}
我在field2上执行了一些操作,比如我想将每个元组的值增加一些值,比如5
performed this operation in a function which gave me modified field with "M_field2" as out field name now i want to write complete tuple in a file but in place of field2 i
我有一个EvaluationBolt(用于内存监控),我想确保它的一个执行器在每个工作进程上运行(在我的情况下,每个物理节点一个,即supervisor.slots.ports仅配置为端口6700)。关于这个话题,我发现了这个问题:
但它并没有说明我自己如何以及是否能够控制螺栓和喷嘴的分布。可以手动配置调度程序吗
干杯,
Tomi复杂而正确的方法是编写一个Storm scheduler:
我还发现,默认情况下,Storm scheduler在主机之间执行循环调度,因此大多数情况下,您可以使用内
我正在使用yahoo的这个工具在我的storm集群上运行一些性能测试-
我注意到,当我打开acking时,性能几乎达到10倍。下面是一些复制测试的细节-
簇-
3个监控节点和1个nimbus节点。每个节点都是一个c3.1大节点
带acking-
bin/storm jar storm_perf_test-1.0.0-SNAPSHOT-jar-with-dependencies.jar com.yahoo.storm.perftest.Main--ack--boltParallel 60--ma
阅读问题陈述后,欢迎提出任何想法
背景:
使用Apache Kafka发布消息:
卡夫卡经纪人正在运行。Kafka Producer是创建消息并将其发布到Kafka代理以供进一步使用的应用程序。因此,为了让卡夫卡消费者消费数据,卡夫卡主题需要在卡夫卡制作者和消费者开始发布消息和消费消息之前创建
卡夫卡测试成功,因为卡夫卡消费者能够使用卡夫卡主题中的数据并显示结果
在启动Storm topology之前,请停止Kafka使用者,以便Storm Spout能够处理来自Kafka主题的数据流源
使用A
如何根据apache storm中的名称获取当前正在运行的storm ID。您可以通过storm UI的REST API实现这一点。我不知道有任何操作公开以按名称获取拓扑及其相关风暴ID的列表,但您可以使用端点/api/v1/topology/summary获取所有正在运行的拓扑及其名称和风暴ID的列表
以下是文档的链接:
我已经在单节点集群上配置了1个nimbus、1个zookeeper和1个supervisor的Storm集群。我的Nimbus和UI工作正常,但主管并没有按预期工作,它只在UI中显示了几分钟
以下是我的主管日志
[31/10/14 05:46:00:000 IST] INFO daemon.supervisor: 11f31d37-a7a1-4b91-b014-a49d7a65c9e0 still hasn't started
[31/10/14 05:46:01:001 IST] INFO
我尝试了很多方法,但我发现有些例外无法使喷口重新发射。但在我的工作中,我非常需要,我该怎么做?
我试图抛出失败的例外,但似乎没有用。这是我的密码
试试{
process.waitFor();
}catch(异常e){e.printStackTrace();
抛出新的FailedException(e);
}是否尝试抛出新的FailedException(“…”)?是的,我尝试过,但没有成功。这是代码try{process.waitFor();}catch(异常e){e.printStackTr
我有一个基本的拓扑结构,包括卡夫卡喷口和卡夫卡螺栓
当提交我的拓扑时,ı在Storm UI中出现此错误
无法获取卡夫卡的偏移滞后。原因:org.apache.kafka.shade.common.errors.InvalidTopiceException:主题“[enrich Topic]”无效
我检查丰富主题是否存在,没有问题
TopologyBuilder streamTopologyBuilder = new TopologyBuilder();
KafkaSpoutRe
我是一个关于风暴流量的新手,现在对如何在风暴流量中配置通用参数感到困惑。例如,org.apache.storm.kafka.spourt.KafkaSpout的定义如下:
public class KafkaSpout<K, V> extends BaseRichSpout {
....
}
我的问题是,为什么卡夫卡普特的泛型并列词没有任何配置
谢谢 我认为还没有人发现有必要在Flux中实现泛型支持
回想一下,在Java中,您可以自由地使用“原始类型”(尽管这通常不
标签: Apache Storm
topologyapache-storm-topologystorm-topologyapache-storm-configs
我们正在从1.1.x迁移到2.1.0
在我们当前的设置中,storm.yaml中有以下内存配置
nimbus.childopts: -Xmx2048m
supervisor.childopts: -Xmx2048m
worker.childopts: -Xmx16384m
我在中看到许多其他与内存相关的配置,并对它们提出以下问题
worker.childopts和topology.worker.childopts之间有什么区别?如果我们在storm.yaml中设置worker.childopt
上一页 1 2 ...
10 11 12 13 14 15 ...
下一页 共 15 页