Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 如何使用Python代码启动数据流作业_Python 3.x_Google Cloud Platform_Google Cloud Functions_Google Cloud Dataflow - Fatal编程技术网

Python 3.x 如何使用Python代码启动数据流作业

Python 3.x 如何使用Python代码启动数据流作业,python-3.x,google-cloud-platform,google-cloud-functions,google-cloud-dataflow,Python 3.x,Google Cloud Platform,Google Cloud Functions,Google Cloud Dataflow,一旦我将一个文件放入云存储中,我想启动数据流作业。我启动了一个云函数来触发它。但我不知道如何使用Python启动datadlow作业?有人可以帮助吗 const kickOffDataflow = (input, output) => { var jobName = CONFIG.DATAFLOW_JOB_NAME; var templatePath = CONFIG.TEMPLETE_FILE_PATH; var request = { projectId: "test",

一旦我将一个文件放入云存储中,我想启动数据流作业。我启动了一个云函数来触发它。但我不知道如何使用Python启动datadlow作业?有人可以帮助吗

const kickOffDataflow = (input, output) => {
var jobName = CONFIG.DATAFLOW_JOB_NAME;
var templatePath = CONFIG.TEMPLETE_FILE_PATH;
var request = {
    projectId: "test",
    requestBody: {
        jobName: jobName,
        parameters: {
            configFile: input,
            outputFile: output,
            mode: "cluster_test"
        },
        environment: {
            zone: "europe-west1-b"
        }
    },
    gcsPath: templatePath
}
console.log("Start to create " + jobName + " dataflow job");
return google.auth.getClient({
    scopes: ['https://www.googleapis.com/auth/cloud-platform']
}).then(auth => {
    request.auth = auth;
    return dataflow.projects.templates.launch(request);
}).catch(error => {
    console.error(error);
    throw error;
});

}

请看一看。它描述了如何将Cloud Composer与云函数结合使用,以在新文件到达GCS存储桶时触发基于Python的数据流作业。

请说明您尝试了什么,以及您不知道如何继续。您可以看到,我有node.js的代码,它可以工作,但我不知道如何用Python重写,我的老板需要我们把蟒蛇换掉,你应该把你的问题改写清楚。请注意,为您编写程序的请求很可能没有得到响应。