如何在aws emr中将ec2用户添加到hadoop

我是aws emr的新手，希望在hadoop中添加新用户并创建一些目录

所以我要做的是创建目录

登录hadoop机器

ssh hadoop@(publicIP)
hadoop fs -mkdir /user
hadoop fs -mkdir /user/tomcat/
hadoop fs -chmod 777 /
hadoop fs -chmod 777 /tomcat

---

我想使用aws cli或将此方法添加到EMR引导中来完成此过程。

您可以在shell脚本中编写make directory命令，并作为一个步骤添加该脚本。您可以在启动群集时执行此操作：

aws emr create-cluster --name "Test cluster" --ami-version 3.10 --applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m3.xlarge --instance-count 3 \
--steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]

aws emr add-steps --cluster-id <<$clusterId>> --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"

或者在启动群集后，将此作为作业流中的第一步添加：

aws emr create-cluster --name "Test cluster" --ami-version 3.10 --applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m3.xlarge --instance-count 3 \
--steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"]

aws emr add-steps --cluster-id <<$clusterId>> --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/script-path/my_script.sh"

aws emr添加步骤——集群id——步骤类型=CUSTOM\u JAR，Name=CustomJAR，actionfailure=CONTINUE，JAR=s3://elasticmapreduce/libs/script runner/script runner.JAR，Args=[“s3://mybucket/script path/my\u script.sh”