Apache spark Spark执行人如何相互交谈?取数失败

Apache spark Spark执行人如何相互交谈?取数失败,apache-spark,pyspark,Apache Spark,Pyspark,我有一个问题,我的执行者在洗牌后无法获取某些块(FetchFailed error),因为它们无法访问 我想亲自尝试工人之间的连接,我想尝试创建一个完全相同的连接(协议、端口),就像他们自然会做的一样 我有点困惑,他们使用了SSH和随机分配的端口 谢谢我不确定你想做什么,但听起来不对。我的执行者在加入引发的混乱后“互相”交谈时似乎有问题,我不确定这是连接特定问题(端口)还是OOM问题(执行者被杀死)。为了查明这是否是连接问题,我想复制执行者用来与每个人对话的连接过程(协议+端口)。您是否检查了日

我有一个问题,我的执行者在洗牌后无法获取某些块(FetchFailed error),因为它们无法访问

我想亲自尝试工人之间的连接,我想尝试创建一个完全相同的连接(协议、端口),就像他们自然会做的一样

我有点困惑,他们使用了SSH和随机分配的端口


谢谢

我不确定你想做什么,但听起来不对。我的执行者在加入引发的混乱后“互相”交谈时似乎有问题,我不确定这是连接特定问题(端口)还是OOM问题(执行者被杀死)。为了查明这是否是连接问题,我想复制执行者用来与每个人对话的连接过程(协议+端口)。您是否检查了日志?