Apache spark AWS EMR spark提交选项-失败
我正在尝试在EMR spark集群上运行python作业 在spark submit选项中,我仅使用以下设置来更改内存: --主纱线——驱动器存储器4g——执行器存储器2g 然而,每次我试图提交工作,它总是失败 我可以知道如何更正spark提交选项吗 错误日志如下所示:Apache spark AWS EMR spark提交选项-失败,apache-spark,amazon-emr,Apache Spark,Amazon Emr,我正在尝试在EMR spark集群上运行python作业 在spark submit选项中,我仅使用以下设置来更改内存: --主纱线——驱动器存储器4g——执行器存储器2g 然而,每次我试图提交工作,它总是失败 我可以知道如何更正spark提交选项吗 错误日志如下所示: Error: Unrecognized option: -- Usage: spark-submit [options] <app jar | python file | R file> [app argument
Error: Unrecognized option: --
Usage: spark-submit [options] <app jar | python file | R file> [app arguments]
Usage: spark-submit --kill [submission ID] --master [spark://...]
Usage: spark-submit --status [submission ID] --master [spark://...]
Usage: spark-submit run-example [options] example-class [example args]
Options:
--master MASTER_URL spark://host:port, mesos://host:port, yarn,
k8s://https://host:port, or local (Default: local[*]).
--deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or
on one of the worker machines inside the cluster ("cluster")
(Default: client).
--class CLASS_NAME Your application's main class (for Java / Scala apps).
--name NAME A name of your application.
--jars JARS Comma-separated list of jars to include on the driver
and executor classpaths.
--packages Comma-separated list of maven coordinates of jars to include
on the driver and executor classpaths. Will search the local
maven repo, then maven central and any additional remote
repositories given by --repositories. The format for the
coordinates should be groupId:artifactId:version.
--exclude-packages Comma-separated list of groupId:artifactId, to exclude while
resolving the dependencies provided in --packages to avoid
dependency conflicts.
--repositories Comma-separated list of additional remote repositories to
search for the maven coordinates given with --packages.
--py-files PY_FILES Comma-separated list of .zip, .egg, or .py files to place
on the PYTHONPATH for Python apps.
--files FILES Comma-separated list of files to be placed in the working
directory of each executor. File paths of these files
in executors can be accessed via SparkFiles.get(fileName).
--conf PROP=VALUE Arbitrary Spark configuration property.
--properties-file FILE Path to a file from which to load extra properties. If not
specified, this will look for conf/spark-defaults.conf.
--driver-memory MEM Memory for driver (e.g. 1000M, 2G) (Default: 1024M).
--driver-java-options Extra Java optionCommand exiting with ret '1'
错误:无法识别的选项:--
用法:spark提交[选项][应用程序参数]
用法:spark submit--kill[submission ID]--master[spark://...]
用法:spark submit--状态[提交ID]--主[spark://...]
用法:spark提交运行示例[选项]示例类[示例参数]
选项:
--主机URLspark://host:port, mesos://host:port纱线
k8s://https://host:port,或本地(默认值:local[*])。
--部署模式部署\u模式是在本地(“客户端”)启动驱动程序还是
在群集中的一台工作计算机上(“群集中”)
(默认值:客户端)。
--class\u命名应用程序的主类(用于Java/Scala应用程序)。
--名称应用程序的名称。
--jars jars要包含在驱动程序中的jar的逗号分隔列表
和执行器类路径。
--打包要包含的JAR的maven坐标的逗号分隔列表
在驱动程序和执行器类路径上。将搜索本地
maven回购,然后是maven central和任何其他远程
由--repositories提供的存储库。文件的格式
坐标应为groupId:artifactId:version。
--排除程序包以逗号分隔的groupId:artifactId列表,在
解析--包中提供的依赖项以避免
依赖冲突。
--存储库以逗号分隔的附加远程存储库列表
搜索用--packages给出的maven坐标。
--py文件py_文件要放置的.zip、.egg或.py文件的逗号分隔列表
在Python应用程序的PYTHONPATH上。
--文件文件要放置在工作区中的文件的逗号分隔列表
每个执行者的目录。这些文件的文件路径
可以通过SparkFiles.get(文件名)访问in executors。
--conf PROP=任意火花配置属性的值。
--属性文件要从中加载额外属性的文件的路径。如果不是
指定后,将查找conf/spark-defaults.conf。
--驱动程序内存用于驱动程序的内存(例如1000M、2G)(默认值:1024M)。
--驱动程序java选项附加java选项命令并使用ret“1”退出
我可以看到--
和主机之间有一个空格
尝试--master
而不是--master我可以看到--
和master
之间有一个空格
尝试--master
而不是--master