Google cloud platform 从dataproc模板中的yaml文件运行shell脚本

是否可以使用dataproc工作流模板通过yaml文件将shell脚本作为作业运行。如果可以，我们如何才能做到这一点

---

我曾处理过工作流模板，但它们是hadoop和spark作业，但我不确定如何运行shell脚本。

没有直接的方法，但有一个解决方法：使用

-e=sh myscript.sh

添加一个pig作业步骤。您必须通过init操作在集群上暂存该文件

---

或者，您也可以创建一个python脚本，将其转换为bash脚本。这样做的好处是，

pyspark

作业将负责通过

--files

参数为您下载脚本。

没有直接的方法，但有一个解决方法：使用

-e=sh myscript.sh

添加清管器作业步骤。您必须通过init操作在集群上暂存该文件

---

或者，您也可以创建一个python脚本，将其转换为bash脚本。这样做的好处是

pyspark

作业将负责通过

--files

参数为您下载脚本。

当我尝试将shell脚本作为pig作业运行时，它显示我已经向/usr/lib/hive/添加了3个JAR，但当我尝试添加JAR时…它显示权限被拒绝。这是正确的方法吗？这是出乎意料的。您可以共享您使用的dataproc映像版本吗？当我尝试将shell脚本作为pig作业运行时，它显示我已将3个JAR添加到/usr/lib/hive/--但当我尝试添加JAR时…它显示权限被拒绝。这是正确的方法吗？这是意外的。您能分享您使用的dataproc映像版本吗？