Apache spark 在EMR Spark应用程序中加载道具文件_Apache Spark_Emr_Amazon Data Pipeline

Apache spark 在EMR Spark应用程序中加载道具文件

apache-spark

Apache spark 在EMR Spark应用程序中加载道具文件,apache-spark,emr,amazon-data-pipeline,Apache Spark,Emr,Amazon Data Pipeline,我正在尝试使用以下方式在spark应用程序中加载自定义属性：- command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0

我正在尝试使用以下方式在spark应用程序中加载自定义属性：-

command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar

但是，我得到以下例外情况：-

线程“main”java.lang.IllegalArgumentException中的异常：无效属性文件“s3://spark-config-test/myprops.conf”。在 org.apache.spark.launcher.CommandBuilderUtils.checkArgument（CommandBuilderUtils.java:241）在 org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile（AbstractCommandBuilder.java:284）在 org.apache.spark.launcher.AbstractCommandBuilder.getEffectiveConfig（AbstractCommandBuilder.java:264）在 org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand（SparkSubmitCommandBuilder.java:233）在组织

这是从S3加载文件的正确方法吗？

您不能直接从S3加载属性文件。相反，您需要将属性文件下载到主节点的某个位置，然后提交引用该节点上本地路径的spark作业。您可以通过使用command-runner.jar运行aws cli实用程序来完成下载。

spark-default.conf和Thread xml文件等文件也是如此？不，Amazon提供了一个配置API来设置所有spark/hadoop特定的设置。从本质上讲，您提供了一个JSON对象，其中包含“纱线.一些.设置”这样的键。此处的详细信息：我使用spark默认分类并提供以下属性：-spark.warn.appMasterEnv.FOO=“FOO”。这在遗嘱执行人身上是否也可见？不，该财产只影响主人。