Intellij idea intellij idea中的Spark on纱线远程调试

我需要调试我的scala/spark应用程序，使用Thread客户端模式运行

我不知道如何在intellig idea中做到这一点……遵循这一点

然而，这是eclispe的工作

我先试着跑

export SPARK_SUBMIT_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5002

然后当我在IDE中进行远程调试时

---

但是，idea给了我一个连接被拒绝的错误。

您在IntelliJ run configuration和SPARK_SUBMIT_OPTS中有相同的端口号吗？好的，只需将“主机”从localhost更改为群集运行的IP。。但是，我不知道如何放置行断点。我使用intellig idea中的远程主机文件查看器插件在群集中看到远程文件…为了调试它们，IntelliJ idea项目中需要有相同的文件。IntelliJ run configuration和SPARK\u SUBMIT\u OPTS中是否有相同的端口号？确定只需更改“主机”从localhost到运行Thread的群集的IP。但是，我不确定如何放置行断点。我使用intellig idea中的远程主机文件查看器插件在群集中看到远程文件。为了调试它们，您需要在IntelliJ idea项目中有相同的文件。