Google cloud platform 如何使用composer在dataproc上运行笔记本

我在

dataproc

上有一个Jupyter笔记本，它正在使用dataproc进行处理。我还将此笔记本存储在地面军事系统的“gc:/bucket/…”位置

---

我想创建一个Composer工作流，以便在现有dataproc群集上运行此笔记本。这在GCP中可能吗？

您不能在Dataproc中以编程方式运行Jupyter笔记本电脑。您可以采取的一种方法是从笔记本中提取代码，然后将其作为Composer在集群中的作业提交，例如，使用。

如果我使用造纸机怎么办？我自己还没有尝试过，但是可以，它应该可以工作。您可以在dataproc集群中安装jupyter和papermill，然后使用Composer在集群中提交Pig作业（bash命令可以作为Pig sh作业提交）以使用papermill。有关如何提交清管器作业的参考，请参阅。