Scala Eclipse中的Spark代码调试

我正在Eclipse中调试Spark代码。我面临的问题如下：

我正在

RDD

中创建JSON对象，但在

logger.info

/

println

中，它 没有在控制台上打印任何内容

它正在打印

logger.info（“记录流计数”+rdd.count）

和其他

rdd

方法的信息，但没有打印我在

rdd

中调用的方法的任何信息

一旦启动，如何停止spark应用程序。我的是Scala代码，我从Spark数据流中获取输入，并从

.txt

文件中读取，以便在本地设置环境

---

如有任何其他问题/澄清，请告知我。

关于您问题的第一点和第二点， 但首先，您的应用程序是否在集群模式下运行？若有,请引述:

但是，在集群模式下，服务器调用到

stdout

的输出 执行者现在正在向执行者的

stdout

写入，而不是向执行者的stdout写入 在驱动程序上，因此驱动程序上的

stdout

不会显示这些！全部打印 元素，可以使用

collect（）

方法 将

RDD

带到驱动程序节点，这样：

RDD.collect（）.foreach（println）

关于您的第三点，您可以通过在下面提供master和driver ID来停止您的Spark应用程序

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

/bin/spark class org.apache.spark.deploy.Client kill

关于你问题的第一点和第二点， 但首先，您的应用程序是否在集群模式下运行？若有,请引述:

但是，在集群模式下，服务器调用到

stdout

的输出 执行者现在正在向执行者的

stdout

写入，而不是向执行者的stdout写入 在驱动程序上，因此驱动程序上的

stdout

不会显示这些！全部打印 元素，可以使用

collect（）

方法 将

RDD

带到驱动程序节点，这样：

RDD.collect（）.foreach（println）

关于您的第三点，您可以通过在下面提供master和driver ID来停止您的Spark应用程序

./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>

/bin/spark class org.apache.spark.deploy.Client kill