Scala Spark工作节点超时

当我使用

sbt run

运行我的Spark应用程序时，配置指向远程集群的主机，工作人员不会执行任何有用的操作，并且以下警告会反复打印在

sbt run

日志中

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

这就是我的spark配置的外观：

@transient lazy val conf: SparkConf = new SparkConf()
    .setMaster("spark://master-ip:7077")
    .setAppName("HelloWorld")
    .set("spark.executor.memory", "1g")
    .set("spark.driver.memory", "12g")

@transient lazy val sc: SparkContext = new SparkContext(conf)

val lines   = sc.textFile("hdfs://master-public-dns:9000/test/1000.csv")

我知道这个警告通常在集群配置错误、工作人员没有资源或一开始就没有启动时出现。但是，根据我的Spark UI（在主ip:8080上），工作节点似乎是活动的，具有足够的RAM和cpu核心，它们甚至尝试执行我的应用程序，但它们退出并将其留在

stderr

log:

INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; 
users  with view permissions: Set(ubuntu, myuser); 
groups with view permissions: Set(); users  with modify permissions: Set(ubuntu, myuser); groups with modify permissions: Set()

Exception in thread "main" java.lang.reflect.UndeclaredThrowableException
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1713)
...
Caused by: java.util.concurrent.TimeoutException: Cannot receive any reply from 192.168.0.11:35996 in 120 seconds
... 8 more
ERROR RpcOutboxMessage: Ask timeout before connecting successfully

有什么想法吗

无法在120秒内收到192.168.0.11:35996的任何回复

---

你能从worker远程登录到这个ip上的端口吗，也许你的驱动程序机器有多个网络接口，试着在$SPARK_HOME/conf/SPARK env.sh中设置SPARK_LOCAL_ip

检查UI@master_url:8080应该有一些问题，比如没有worker或者资源是lessHi@rok14，你有解决这个问题的方法吗？