JavaNetworkWordCount程序(netcat)的Spark流错误

JavaNetworkWordCount程序(netcat)的Spark流错误,java,apache-spark,streaming,netcat,word-count,Java,Apache Spark,Streaming,Netcat,Word Count,在运行spark streaming程序(JavaNetworkWordCount.java)时,当我在netcat服务器上键入nothing时,没有收到任何错误。然而,只要我输入一个像“Hello World”这样的语句并按enter键,终端就会显示一个错误(见下文)。我在虚拟盒(主机:windows)中使用ubuntu,内存为2GB。批次间隔设置为10秒 spark-submit --class JavaNetworkWordCount --master 'local[4]' target/

在运行spark streaming程序(JavaNetworkWordCount.java)时,当我在netcat服务器上键入nothing时,没有收到任何错误。然而,只要我输入一个像“Hello World”这样的语句并按enter键,终端就会显示一个错误(见下文)。我在虚拟盒(主机:windows)中使用ubuntu,内存为2GB。批次间隔设置为10秒

spark-submit --class JavaNetworkWordCount --master 'local[4]' target/streaming-project-1.0.jar
(我已经使用mvn包使用JavaNetworkWordCount.java文件创建了.jar文件)

对于在不同终端上运行的netcat,命令为:

nc -lk 9999
时间:1475884960000毫秒
请显示您正在运行的启动此程序的命令,以及netcat.spark-submit--class JavaNetworkWordCount--master'local[4]'target/streaming-project-1.0.jar(我已经使用mvn包使用JavaNetworkWordCount.java文件制作了.jar文件),netcat正在另一个终端上运行,命令是:nc-lk9999程序与此类似:这里似乎有一个非常模糊的问题;回答这个问题是不可能的,尤其是没有引起问题的代码。堆栈溢出擅长回答特定问题。我建议你从他们提供的例子开始。一旦你开始工作,你可以一次修改一点,在每次修改后测试它。如果你做了更改,它不起作用,你也不知道为什么,回到这里,向我们展示更改(而不是整个程序)和错误消息,你会得到更多的关注,你的帖子。我刚刚用确切的设置运行了你的确切示例。没有问题。您使用的是什么版本的spark?你自己制造火花了吗?或者下载一个预构建版本?请显示您正在运行的启动此程序的命令,以及netcat.spark-submit--class JavaNetworkWordCount--master'local[4]'target/streaming-project-1.0.jar(我已经使用mvn包使用JavaNetworkWordCount.java文件制作了.jar文件),用于运行在不同终端上的netcat,命令是:nc-lk9999程序与此类似:这里似乎有一个非常模糊的问题;回答这个问题是不可能的,尤其是没有引起问题的代码。堆栈溢出擅长回答特定问题。我建议你从他们提供的例子开始。一旦你开始工作,你可以一次修改一点,在每次修改后测试它。如果你做了更改,它不起作用,你也不知道为什么,回到这里,向我们展示更改(而不是整个程序)和错误消息,你会得到更多的关注,你的帖子。我刚刚用确切的设置运行了你的确切示例。没有问题。您使用的是什么版本的spark?你自己制造火花了吗?或者下载一个预构建的版本?
16/10/07 17:02:50 ERROR Executor: Exception in task 0.0 in stage 5.0 (TID 3)
java.lang.AbstractMethodError: JavaNetworkWordCount$1.call(Ljava/lang/Object;)Ljava/lang/Iterable;
    at org.apache.spark.streaming.api.java.JavaDStreamLike$$anonfun$fn$1$1.apply(JavaDStreamLike.scala:172)
    at org.apache.spark.streaming.api.java.JavaDStreamLike$$anonfun$fn$1$1.apply(JavaDStreamLike.scala:172)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:327)
    at org.apache.spark.util.collection.ExternalSorter.insertAll(ExternalSorter.scala:202)
    at org.apache.spark.shuffle.sort.SortShuffleWriter.write(SortShuffleWriter.scala:56)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:68)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41)
    at org.apache.spark.scheduler.Task.run(Task.scala:64)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:203)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
16/10/07 17:02:50 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[Executor task launch worker-1,5,main]
java.lang.AbstractMethodError: JavaNetworkWordCount$1.call(Ljava/lang/Object;)Ljava/lang/Iterable;
    at org.apache.spark.streaming.api.java.JavaDStreamLike$$anonfun$fn$1$1.apply(JavaDStreamLike.scala:172)
    at org.apache.spark.streaming.api.java.JavaDStreamLike$$anonfun$fn$1$1.apply(JavaDStreamLike.scala:172)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:327)
    at org.apache.spark.util.collection.ExternalSorter.insertAll(ExternalSorter.scala:202)
    at org.apache.spark.shuffle.sort.SortShuffleWriter.write(SortShuffleWriter.scala:56)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:68)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:41)
    at org.apache.spark.scheduler.Task.run(Task.scala:64)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:203)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
16/10/07 17:02:50 ERROR TaskSetManager: Task 0 in stage 5.0 failed 1 times; aborting job