Java 使用旧的应用程序资源和jar启动作业

Java 使用旧的应用程序资源和jar启动作业,java,scala,apache-spark,hortonworks-data-platform,Java,Scala,Apache Spark,Hortonworks Data Platform,我是新手。尝试在客户机模式下运行spark作业,如果我对jar和其他资源文件使用相同的路径,效果会很好。在使用Thread命令终止正在运行的应用程序之后,如果使用更新的jar和文件位置重新提交spark作业,则该作业仍然使用我的旧路径。系统重新启动后,spark作业采用新路径。Spark提交命令 spark-submit \ --class export.streaming.DataExportStreaming \ --jars /usr/hdp/current/spark-c

我是新手。尝试在客户机模式下运行spark作业,如果我对jar和其他资源文件使用相同的路径,效果会很好。在使用Thread命令终止正在运行的应用程序之后,如果使用更新的jar和文件位置重新提交spark作业,则该作业仍然使用我的旧路径。系统重新启动后,spark作业采用新路径。Spark提交命令

spark-submit \
    --class export.streaming.DataExportStreaming \
    --jars /usr/hdp/current/spark-client/lib/postgresql-9.4.1209.jar \
    --driver-class-path /usr/hdp/current/spark-client/lib/postgresql-9.4.1209.jar  \
    --conf spark.driver.extraClassPath=/usr/hdp/current/spark-client/lib/postgresql-9.4.1209.jar \
    --conf spark.executor.extraClassPath=/usr/hdp/current/spark-client/lib/postgresql-9.4.1209.jar \
    --master yarn --deploy-mode client \
    --files /usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_selfservice_session_daily.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_selfservice_session_device.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_selfservice_session_workflow.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_selfservice_session_workflow_step.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_session_assignment.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_session_daily.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_session_device.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_session_queue.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_session_workflow.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_session_workflow_step.sql,/usr/lib/firebet-spark/52.0.2-1/data-export/resources/rollup_user_login_session.sql /usr/lib/firebet-spark/52.0.2-1/data-export/lib/data-export-assembly-52.0.2-1.jar /usr/lib/firebet-spark/52.0.2-1/data-export/resources/application.conf
如何解决这个问题? spark提交命令是否正确?
在生产环境中,哪种部署模式更适合客户机还是群集?

在google中搜索了大量内容后,我发现检查点目录是导致此问题的根本原因。如果代码升级为新代码并重新部署,则spark将使用存储在检查点目录中的旧上下文,而不删除现有检查点目录。了解更多细节,以及可能的黑客攻击