Google cloud dataflow 通过Google云调度器执行数据流模板
我试图通过Google Cloud Scheduler执行自定义数据流模板,但是当我执行作业时,我得到一个未经验证的异常 如何授予Google Cloud Scheduler使用数据流Google API的访问权限 以下是我正在使用的URL和帖子正文:Google cloud dataflow 通过Google云调度器执行数据流模板,google-cloud-dataflow,google-cloud-scheduler,Google Cloud Dataflow,Google Cloud Scheduler,我试图通过Google Cloud Scheduler执行自定义数据流模板,但是当我执行作业时,我得到一个未经验证的异常 如何授予Google Cloud Scheduler使用数据流Google API的访问权限 以下是我正在使用的URL和帖子正文: https://dataflow.googleapis.com/v1b3/projects/<<PROJECT>>/templates:launch?gcsPath=gs://<<GCS_BUCKET>&
https://dataflow.googleapis.com/v1b3/projects/<<PROJECT>>/templates:launch?gcsPath=gs://<<GCS_BUCKET>>/template
{
"jobName": "job-name-scheduled",
"parameters": {
"param1" : "parmval1"
"environment": {
"tempLocation": "gs://<<BUCKET>>/temp",
"region": "us-east1"
}
}云调度器文档指出,目标HTTP端点必须可以公开访问 通常,要创建此类数据流作业,您需要提交如下内容:
curl -X POST \
'https://dataflow.googleapis.com/v1b3/projects/<project>/templates:launch?gcsPath=gs://dataflow-templates/latest/Word_Count' \
-H 'Authorization: Bearer '$(gcloud auth application-default print-access-token) \
-H 'Content-Type: application/json' \
--data '{
"jobName": "scheduled_job",
"parameters": {
"inputFile" : "gs://dataflow-samples/shakespeare/kinglear.txt",
"output": "gs://<bucket>/output/my_output"
},
"environment": { "zone": "us-central1-f" }
}'
但是,您不能通过云调度器发送授权令牌
对于调度数据流作业,您可以改为查看。本页将对此进行详细说明。希望有帮助: