Apache spark Spark shuffle块复制
我想知道是否可以定义复制逻辑来洗牌块而不使用持久化操作。 用例是具有具有多个联接的复杂sql，这需要大量的洗牌，而这些洗牌会保存在工作机器上（使用splill），丢失机器可能需要阶段重试（使用dag），这是非常扩展的，并且可能并不总是有效 可以使用配置或从spark上下文中的某个类继承来完成Apache spark Spark shuffle块复制,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我想知道是否可以定义复制逻辑来洗牌块而不使用持久化操作。 用例是具有具有多个联接的复杂sql，这需要大量的洗牌，而这些洗牌会保存在工作机器上（使用splill），丢失机器可能需要阶段重试（使用dag），这是非常扩展的，并且可能并不总是有效 可以使用配置或从spark上下文中的某个类继承来完成 Spark 2.3版您能解释一下上下文吗？可能的应用程序是什么？@user10465355编辑问题谢谢。你考虑过使用洗牌服务吗？它不满足标准，但是将洗牌层和洗牌文件的存储从执行器中分离出来，因此后者的失败并
Spark 2.3版您能解释一下上下文吗？可能的应用程序是什么？@user10465355编辑问题谢谢。你考虑过使用洗牌服务吗？它不满足标准，但是将洗牌层和洗牌文件的存储从执行器中分离出来，因此后者的失败并不重要。@ USE10465 355我考虑过但是使用了大量的存储空间，当在AWS下运行时，这是非常扩展的，并且并非所有类型的applications@user10465355此外，如果一台机器被杀死，则洗牌服务和所有数据都将消失