Performance Spark Job卡在99.7%

我正在尝试使用Talend和Spark执行一个简单的联接操作。输入数据集是几百万条记录，查找数据集大约是100条记录（我们可能还需要加入一百万条记录查找数据）

当尝试仅读取输入数据并生成具有以下内存设置的平面文件时，该作业工作正常，运行时间更短。但是，当尝试执行如上所述的联接操作时，该作业会停留在99.7%

• 执行器内存=20g
• 每个执行器的核心数=4
• 纱线资源分配=固定
• 执行者数量=100
• spark.Thread.executor.memoryOverhead=6000（在一些初步研究中，我发现这必须是executor内存的10%，但这也没有帮助。）

过了一段时间（30-40分钟），作业会打印一个日志，上面写着“abc.xyz.com上丢失了执行器xx”。这可能是因为等待太久，遗嘱执行人被杀了

我试图检查是否有人遇到过这样的问题，火花作业在一个简单的操作中停留在99.7%。另外，在这种情况下，建议使用哪些调优属性