Google app engine 如何以编程方式在Dataproc集群上运行Hadoop utils？_Google App Engine_Google Cloud Platform_Google Cloud Dataproc

Google app engine 如何以编程方式在Dataproc集群上运行Hadoop utils？

google-app-engine google-cloud-platform

Google app engine 如何以编程方式在Dataproc集群上运行Hadoop utils？,google-app-engine,google-cloud-platform,google-cloud-dataproc,Google App Engine,Google Cloud Platform,Google Cloud Dataproc,我有：应用程序引擎应用程序（Java/Python） Dataproc群集我想以编程方式在主节点（Hadoop distcp）上运行一个Hadoop util。最好的方法是什么？到目前为止，我有了下一个线索：ssh到主节点并从那里运行util。有没有其他方法可以实现同样的目标要运行DistCp，您可以定期提交并指定org.apache.hadoop.tools.DistCp作为主类： gcloud dataproc作业提交hadoop--集群=\ --class=org.apache.

我有：

应用程序引擎应用程序（Java/Python）
Dataproc群集

我想以编程方式在主节点（

Hadoop distcp

）上运行一个Hadoop util。最好的方法是什么？到目前为止，我有了下一个线索：ssh到主节点并从那里运行util。有没有其他方法可以实现同样的目标

要运行DistCp，您可以定期提交并指定

org.apache.hadoop.tools.DistCp

作为主类：

gcloud dataproc作业提交hadoop--集群=\
--class=org.apache.hadoop.tools.DistCp--

从Python中，您可以直接使用或提交DistCp作业