Apache spark AWS EMR spark提交选项-失败

Apache spark AWS EMR spark提交选项-失败,apache-spark,amazon-emr,Apache Spark,Amazon Emr,我正在尝试在EMR spark集群上运行python作业 在spark submit选项中,我仅使用以下设置来更改内存: --主纱线——驱动器存储器4g——执行器存储器2g 然而,每次我试图提交工作,它总是失败 我可以知道如何更正spark提交选项吗 错误日志如下所示: Error: Unrecognized option: -- Usage: spark-submit [options] <app jar | python file | R file> [app argument

我正在尝试在EMR spark集群上运行python作业

在spark submit选项中,我仅使用以下设置来更改内存:

--主纱线——驱动器存储器4g——执行器存储器2g

然而,每次我试图提交工作,它总是失败

我可以知道如何更正spark提交选项吗

错误日志如下所示:

Error: Unrecognized option: --

Usage: spark-submit [options] <app jar | python file | R file> [app arguments]
Usage: spark-submit --kill [submission ID] --master [spark://...]
Usage: spark-submit --status [submission ID] --master [spark://...]
Usage: spark-submit run-example [options] example-class [example args]

Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn,
                              k8s://https://host:port, or local (Default: local[*]).
  --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
                              on one of the worker machines inside the cluster ("cluster")
                              (Default: client).
  --class CLASS_NAME          Your application's main class (for Java / Scala apps).
  --name NAME                 A name of your application.
  --jars JARS                 Comma-separated list of jars to include on the driver
                              and executor classpaths.
  --packages                  Comma-separated list of maven coordinates of jars to include
                              on the driver and executor classpaths. Will search the local
                              maven repo, then maven central and any additional remote
                              repositories given by --repositories. The format for the
                              coordinates should be groupId:artifactId:version.
  --exclude-packages          Comma-separated list of groupId:artifactId, to exclude while
                              resolving the dependencies provided in --packages to avoid
                              dependency conflicts.
  --repositories              Comma-separated list of additional remote repositories to
                              search for the maven coordinates given with --packages.
  --py-files PY_FILES         Comma-separated list of .zip, .egg, or .py files to place
                              on the PYTHONPATH for Python apps.
  --files FILES               Comma-separated list of files to be placed in the working
                              directory of each executor. File paths of these files
                              in executors can be accessed via SparkFiles.get(fileName).

  --conf PROP=VALUE           Arbitrary Spark configuration property.
  --properties-file FILE      Path to a file from which to load extra properties. If not
                              specified, this will look for conf/spark-defaults.conf.

  --driver-memory MEM         Memory for driver (e.g. 1000M, 2G) (Default: 1024M).
  --driver-java-options       Extra Java optionCommand exiting with ret '1'
错误:无法识别的选项:--
用法:spark提交[选项][应用程序参数]
用法:spark submit--kill[submission ID]--master[spark://...]
用法:spark submit--状态[提交ID]--主[spark://...]
用法:spark提交运行示例[选项]示例类[示例参数]
选项:
--主机URLspark://host:port, mesos://host:port纱线
k8s://https://host:port,或本地(默认值:local[*])。
--部署模式部署\u模式是在本地(“客户端”)启动驱动程序还是
在群集中的一台工作计算机上(“群集中”)
(默认值:客户端)。
--class\u命名应用程序的主类(用于Java/Scala应用程序)。
--名称应用程序的名称。
--jars jars要包含在驱动程序中的jar的逗号分隔列表
和执行器类路径。
--打包要包含的JAR的maven坐标的逗号分隔列表
在驱动程序和执行器类路径上。将搜索本地
maven回购,然后是maven central和任何其他远程
由--repositories提供的存储库。文件的格式
坐标应为groupId:artifactId:version。
--排除程序包以逗号分隔的groupId:artifactId列表,在
解析--包中提供的依赖项以避免
依赖冲突。
--存储库以逗号分隔的附加远程存储库列表
搜索用--packages给出的maven坐标。
--py文件py_文件要放置的.zip、.egg或.py文件的逗号分隔列表
在Python应用程序的PYTHONPATH上。
--文件文件要放置在工作区中的文件的逗号分隔列表
每个执行者的目录。这些文件的文件路径
可以通过SparkFiles.get(文件名)访问in executors。
--conf PROP=任意火花配置属性的值。
--属性文件要从中加载额外属性的文件的路径。如果不是
指定后,将查找conf/spark-defaults.conf。
--驱动程序内存用于驱动程序的内存(例如1000M、2G)(默认值:1024M)。
--驱动程序java选项附加java选项命令并使用ret“1”退出

我可以看到
--
主机之间有一个空格


尝试
--master
而不是
--master

我可以看到
--
master
之间有一个空格

尝试
--master
而不是
--master