Apache spark Spark/Thread-连接错误重试BlockFetcher尝试从随机端口提取块

我试图在AWS机器上设置纱线火花。我的spark.driver.port是32975。我在纱线容器日志中看到以下错误。它正在尝试连接到主资源管理器端口35653。我不确定它试图从35653端口获取哪个块。有人能帮忙吗

火花指令

spark提交--部署模式客户端--类org.apache.spark.examples.SparkPi$spark_HOME/examples/jars/spark-examples_2.11-2.4.4.jar 10

Hadoop版本：3.x spark版本：2.4.4

2019-12-01 19:09:54590 shuffle.RetryingBlockFetcher错误：开始提取1个未完成的块时出现异常 java.io.IOException:连接到xyz.com/xx.xx.xx.xx:35653超时（120000毫秒） 位于org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:243） 位于org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:187） 位于org.apache.spark.network.netty.NettyBlockTransferService$$anon$2.createAndStart（NettyBlockTransferService.scala:114） 位于org.apache.spark.network.shuffle.RetryingBlockFetcher.fetchAllOutstanding（RetryingBlockFetcher.java:141） 位于org.apache.spark.network.shuffle.RetryingBlockFetcher.start（RetryingBlockFetcher.java:121） 位于org.apache.spark.network.netty.NettyBlockTransferService.fetchBlocks（NettyBlockTransferService.scala:124） 位于org.apache.spark.network.BlockTransferService.fetchBlockSync（BlockTransferService.scala:98） 位于org.apache.spark.storage.BlockManager.getRemoteBytes（BlockManager.scala:757） 在org.apache.spark.broadcast.TorrentBroadcast$$anonfun$org$apache$spark$broadcast$TorrentBroadcast$$readBlocks$1.apply$mcVI$sp（TorrentBroadcast.scala:162） 在org.apache.spark.broadcast.TorrentBroadcast$$anonfun$org$apache$spark$broadcast$TorrentBroadcast$$readBlocks$1.apply（TorrentBroadcast.scala:151） 在org.apache.spark.broadcast.TorrentBroadcast$$anonfun$org$apache$spark$broadcast$TorrentBroadcast$$readBlocks$1.apply（TorrentBroadcast.scala:151） 位于scala.collection.immutable.List.foreach（List.scala:392） 位于org.apache.spark.broadcast.TorrentBroadcast.org$apache$spark$broadcast$TorrentBroadcast$$readBlocks（TorrentBroadcast.scala:151） 在org.apache.spark.broadcast.TorrentBroadcast$$anonfun$readBroadcastBlock$1$$anonfun$apply$2.apply（TorrentBroadcast.scala:231） 位于scala.Option.getOrElse（Option.scala:121） 在org.apache.spark.broadcast.TorrentBroadcast$$anonfun$readBroadcastBlock$1.apply（TorrentBroadcast.scala:211）上 位于org.apache.spark.util.Utils$.tryOrIOException（Utils.scala:1326） 位于org.apache.spark.broadcast.TorrentBroadcast.readBroadcastBlock（TorrentBroadcast.scala:207） 在org.apache.spark.broadcast.TorrentBroadcast.\u value$lzycompute（TorrentBroadcast.scala:66） 在org.apache.spark.broadcast.TorrentBroadcast.\u值（TorrentBroadcast.scala:66） 位于org.apache.spark.broadcast.TorrentBroadcast.getValue（TorrentBroadcast.scala:96） 位于org.apache.spark.broadcast.broadcast.value（broadcast.scala:70） 位于org.apache.spark.scheduler.ResultTask.runTask（ResultTask.scala:84） 位于org.apache.spark.scheduler.Task.run（Task.scala:123） 位于org.apache.spark.executor.executor$TaskRunner$$anonfun$10.apply（executor.scala:408） 位于org.apache.spark.util.Utils$.tryWithSafeFinally（Utils.scala:1360） 位于org.apache.spark.executor.executor$TaskRunner.run（executor.scala:414） 位于java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1149） 位于java.util.concurrent.ThreadPoolExecutor$Worker.run（ThreadPoolExecutor.java:624） 运行（Thread.java:748）

---

请检查hadoop/纱线是否正常工作。 您应该首先启动hadoop，然后检查hadoop是否正在运行，而不仅仅是在终端中执行jps

hadoop start-all.sh
jps

---

每次此端口不断更改时。因此，我怀疑这是否与任何hadoop进程的宕机有关。您是在集群上运行还是在独立模式下运行？作业提交到集群。部署模式是否为clientHave以尝试设置spark驱动程序端口？spark submit--master Thread client--conf spark.driver.port=xxxxx确保HADOOP_conf_DIR或Thread_conf_DIR指向包含HADOOP集群（客户端）配置文件的目录。这些配置用于写入HDFS并连接到Thread ResourceManager。此目录中包含的配置将分发到纱线集群，以便应用程序使用的所有容器都使用相同的配置。如果配置引用的Java系统属性或环境变量不是由Thread管理的，那么它们也应该在Spark应用程序的配置中设置。除此之外，不应存在任何问题。是否有不使用电子病历的具体原因？