Apache spark Spark Streaming-Spark Streaming中未接收到Netcat消息

我正在尝试测试火花流。我有独立的cloudera quickstart vm。使用以下命令启动spark shell：

spark-shell --master yarn-client --conf spark.ui.port=23123

nc -lk 44444

在spark shell中，我执行了以下语句：

sc.stop()
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
val conf = new SparkConf().setAppName("Spark Streaming")
val ssc = new StreamingContext(conf,org.apache.spark.streaming.Seconds(10))
val lines = ssc.socketTextStream("localhost",44444)
lines.print

在另一个终端中，使用以下命令启动netcat服务：

spark-shell --master yarn-client --conf spark.ui.port=23123

nc -lk 44444

在spark shell中，启动了流上下文

ssc.start()

到现在为止一切都很好。但是，无论在Netcat服务中键入什么消息，Spark streaming都不会收到。不知道哪里出了问题。

请尝试

Spark shell--master local[2]--conf Spark.ui.port=23123

，看看它是否有效

---

如果它能工作，那么在脚本中，只有一个执行器在工作，它正在接收消息，但没有一个执行器在处理消息。

它工作了。非常感谢。原因是什么。我的朋友，你的解释会有很大帮助。在你的脚本中，

spark shell--master Thread client--conf spark.ui.port=23123

，你应该指定--num executors N，其中N应该>=2，这是因为，为了让你的代码工作，至少应该有两个执行器，一个用于接收消息，另一个用于处理消息（在你的箱子里打印）谢谢，祝你今天愉快。