Amazon ec2 为aws emr创建边节点的步骤

我需要为AWS EMR集群创建边缘节点（ec2）。是否有实现此目的的步骤列表？

在EC2实例（边缘节点）上以root用户身份运行以下命令

您应该使用ls来验证JAR路径

ls /usr/lib/spark/examples/jars/spark-examples_ <HIT TAB>
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --driver-memory 512m --executor-memory 512m --executor-cores 1 /usr/lib/spark/examples/jars/spark-examples_2.11-2.3.1.jar 10

ls/usr/lib/spark/examples/jars/spark-examples\u
spark submit--class org.apache.spark.examples.SparkPi--master warn--driver memory 512m--executor memory 512m--executor cores 1/usr/lib/spark/examples/jars/spark-examples_2.11-2.3.1.jar 10

检查纱线UI以验证其是否成功

http://<MASTER_NODE>:8088/cluster

http://:8088/集群

@mbreddy77，如果答案有效..您可以将其标记为正确，以便其他工程师也使用它。如果你有问题，请评论…@FaisalAhmedSiddiqui：不，你可以编写一个CF来创建EC2，并使用这些命令在引导上执行shell脚本。我按照步骤进行了操作，还设置了HADOOP_Thread_HOME和HADOOP_MAPRED_HOME环境变量，但HADOOP流媒体作业失败，错误为“找不到文件”。但是，如果从主节点运行流作业，同样的事情也可以正常工作。。有什么想法吗？？？@FaisalAhmedSiddiqui:可以从日志文件中粘贴错误。在为我的EMR群集版本5.20设置边缘节点时，我缺少了一些东西。spark.sh中缺少HADOOP_Thread_HOME和HDOOP_MAPRED_HOME，也缺少我使用yum install lzo liblzo devel进行的lzo本机安装，还添加了Thread_HOME环境变量以从边缘节点查看纱线日志文件。

ls /usr/lib/spark/examples/jars/spark-examples_ <HIT TAB>
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --driver-memory 512m --executor-memory 512m --executor-cores 1 /usr/lib/spark/examples/jars/spark-examples_2.11-2.3.1.jar 10

http://<MASTER_NODE>:8088/cluster