Apache spark 是否可以暂停并恢复spark作业?
是否可以暂停火花作业(使用纱线作为群集管理器的火花作业),然后从暂停点恢复火花作业?无法暂停/停止纱线中正在运行的作业。如果要暂停或从特定执行点重新启动,理想的方法是将作业分解为多个较小的作业,然后使用编排管理器(如Airflow或Oozie)来控制此活动。在Oozie的情况下,您可以执行以下操作Apache spark 是否可以暂停并恢复spark作业?,apache-spark,pyspark,Apache Spark,Pyspark,是否可以暂停火花作业(使用纱线作为群集管理器的火花作业),然后从暂停点恢复火花作业?无法暂停/停止纱线中正在运行的作业。如果要暂停或从特定执行点重新启动,理想的方法是将作业分解为多个较小的作业,然后使用编排管理器(如Airflow或Oozie)来控制此活动。在Oozie的情况下,您可以执行以下操作 oozie job -oozie http://localhost:8080/oozie -suspend 14-20090525161321-oozie-joe 可以在此处找到更多详细信息-无法暂
oozie job -oozie http://localhost:8080/oozie -suspend 14-20090525161321-oozie-joe
可以在此处找到更多详细信息-无法暂停/停止纱线中正在运行的作业。如果要暂停或从特定执行点重新启动,理想的方法是将作业分解为多个较小的作业,然后使用编排管理器(如Airflow或Oozie)来控制此活动。在Oozie的情况下,您可以执行以下操作
oozie job -oozie http://localhost:8080/oozie -suspend 14-20090525161321-oozie-joe
更多详情请参阅: