Java 风暴喷口错误backtype.Storm.util-异步循环终止

我的数据来自通过websocket连接到storm群集的传感器，因此每当数据点到达我的websocket服务器时，我都将其添加到ConcurrentLinkedQueue。我没有关于数据点“生产”频率的先验信息。

My spout获取此队列上的数据点并发出相应的元组。Everythink在一段时间内运行良好（我会说大约1000个数据点），但随后我出现以下错误：

76245 [Thread-23-incDp] ERROR backtype.storm.util - Async loop died!
java.lang.NullPointerException: null
    at streams.storm.spout.MySpout.nextTuple(MySpout.java:56) ~[bin/:na]
    at backtype.storm.daemon.executor$fn__3373$fn__3388$fn__3417.invoke(executor.clj:565) ~[storm-core-0.9.3.jar:0.9.3]
    at backtype.storm.util$async_loop$fn__464.invoke(util.clj:463) ~[storm-core-0.9.3.jar:0.9.3]
    at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
    at java.lang.Thread.run(Unknown Source) [na:1.7.0_67]
76246 [Thread-23-incDp] ERROR backtype.storm.daemon.executor - 
java.lang.NullPointerException: null
    at streams.storm.spout.MySpout.nextTuple(MySpout.java:56) ~[bin/:na]
    at backtype.storm.daemon.executor$fn__3373$fn__3388$fn__3417.invoke(executor.clj:565) ~[storm-core-0.9.3.jar:0.9.3]
    at backtype.storm.util$async_loop$fn__464.invoke(util.clj:463) ~[storm-core-0.9.3.jar:0.9.3]
    at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
    at java.lang.Thread.run(Unknown Source) [na:1.7.0_67]
76481 [Thread-23-incDp] ERROR backtype.storm.util - Halting process: ("Worker died")
java.lang.RuntimeException: ("Worker died")
    at backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:325) [storm-core-0.9.3.jar:0.9.3]
    at clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.5.1.jar:na]
    at backtype.storm.daemon.worker$fn__3808$fn__3809.invoke(worker.clj:452) [storm-core-0.9.3.jar:0.9.3]
    at backtype.storm.daemon.executor$mk_executor_data$fn__3274$fn__3275.invoke(executor.clj:240) [storm-core-0.9.3.jar:0.9.3]
    at backtype.storm.util$async_loop$fn__464.invoke(util.clj:473) [storm-core-0.9.3.jar:0.9.3]
    at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na]
    at java.lang.Thread.run(Unknown Source) [na:1.7.0_67]

这是我的喷口代码：

public class MySpout extends BaseRichSpout
{

    private static final long serialVersionUID = 1L;
    private AtomicLong messageIdCounter = new AtomicLong();     
    private static Queue<String> incData;
    private SpoutOutputCollector collector; 


    public MySpout() 
    {
        incData = new ConcurrentLinkedQueue<String>();
    }


    @Override
    public void nextTuple() 
    {
        if(incData.isEmpty())
        {
            Utils.sleep(500);
        }
        else
        {
            String[] splittedMsg = incData.poll().split(" ; ");
            JSONParser jsonParser = new JSONParser();

            try 
            {
                int ts = Integer.parseInt(splittedMsg[0]);
                JSONObject json = (JSONObject) jsonParser.parse(splittedMsg[1]);
                collector.emit(new Values( ts, new DataPoint(ts, new ArrayList(json.values()))), messageIdCounter.incrementAndGet() );
            } 
            catch (ParseException e) 
            {
                System.err.println("Wrong input format: should be json");
                e.printStackTrace();
            }
        }
    }

    @Override
    public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
        this.collector = collector;
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields("time", "dps" ));
    }

    public static void addElmtToQueue(String json)
    {
        incData.add(json);
    }

公共类MySpout扩展了BaseRichSpoot
{
私有静态最终长serialVersionUID=1L；
私有AtomicLong messageIdCounter=新的AtomicLong（）；
私有静态队列数据；
私人管道出口收集器；
公共MySpout（）
{
incData=新的ConcurrentLinkedQueue（）；
}
@凌驾
public void nextTuple（）
{
if（incData.isEmpty（））
{
实用睡眠（500）；
}
其他的
{
字符串[]splittedMsg=incData.poll（）.split（；）；
JSONParser JSONParser=新的JSONParser（）；
尝试
{
int ts=Integer.parseInt（splittedMsg[0]）；
JSONObject json=（JSONObject）jsonParser.parse（splittedMsg[1]）；
emit（新值（ts，新数据点（ts，新ArrayList（json.Values（）））），messageIdCounter.incrementAndGet（））；
} 
捕获（解析异常）
{
System.err.println（“错误的输入格式：应该是json”）；
e、 printStackTrace（）；
}
}
}
@凌驾
公共void打开（地图配置、拓扑上下文上下文、喷口输出收集器）{
this.collector=收集器；
}
@凌驾
公共无效申报输出字段（OutputFields申报器申报器）{
申报人申报（新字段（“时间”、“dps”））；
}
公共静态void addelmtoqueue（字符串json）
{
incData.add（json）；
}

---

我猜这是因为队列出了问题，或者不再是数据点，或者我的两个线程之间出现了并发问题（顺便说一句，我知道让它保持静态可能不好，但我还没有找到其他解决方案，因为我需要在我的服务器线程上访问它…）

java.lang.NullPointerException: null
at streams.storm.spout.MySpout.nextTuple(MySpout.java:56) ~[bin/:na]

我敢打赌这句话就是问题所在：

String[] splittedMsg = incData.poll().split(" ; ");

由于这个事实

NullPointerException导致您的喷口崩溃。我建议两件事：

检查poll（）的结果是否为null，如果为null，则检查sleep

用try/catch包装你的喷口，以防止它破坏你的拓扑结构

例如：

@Override
public void nextTuple() {
    try {
        String message = _queue.poll();
        if (message == null) {
            // didn't get a message, sleep for a little bit
            Utils.sleep(50);
        } else {
            // do stuff with message
        }
    } catch (Exception e) {
        _collector.reportError(e);
        LOG.error("Spout error {}", e);
    }
}

---

好的，非常感谢，它似乎起作用了！！我应该考虑一下，但是我非常确定

if（incData.isEmpty（））

阻止了我的这种错误行为！！