Google cloud dataflow 无法使用PubsubIO创建管道。读取,设置资源。。。失败
我的测试管道非常简单。它尝试读取通过控制台创建的主题Google cloud dataflow 无法使用PubsubIO创建管道。读取,设置资源。。。失败,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Dataflow,Google Cloud Pubsub,我的测试管道非常简单。它尝试读取通过控制台创建的主题 public static void main(String[] args) throws IOException { Options options = PipelineOptionsFactory.fromArgs(args). withValidation().as(Options.class); options.setStreaming(true); Pipeline pipeli
public static void main(String[] args) throws IOException {
Options options = PipelineOptionsFactory.fromArgs(args).
withValidation().as(Options.class);
options.setStreaming(true);
Pipeline pipeline = Pipeline.create(options);
PCollection<String> input = pipeline
.apply(PubsubIO.Read.topic(options.getPubsubTopic()))
.apply(ParDo.of(new ExtractEvents()));
pipeline.run();
}
publicstaticvoidmain(字符串[]args)引发IOException{
Options=PipelineOptionsFactory.fromArgs(args)。
withValidation().as(Options.class);
选项。设置流(true);
Pipeline=Pipeline.create(选项);
PCollection输入=管道
.apply(PubsubIO.Read.topic(options.getpubsubsubtopic()))
.apply(ParDo.of(new ExtractEvents());
pipeline.run();
}
当我尝试执行此管道时,出现以下错误:
工作流失败。原因:(DE5F7777E2E08C1D9):步骤
设置\资源\附加主题。订阅-375367840492394866711:设置
更新资源additionaltopic.subscription-3753678404923948667失败
数据流控制台还报告一个内部错误:
我在文档中找不到任何东西,我尝试解决这个问题的尝试也没有成功
解决方案
要运行数据流作业,项目必须启用以下Google云平台API:
- 谷歌云数据流API
- 计算引擎API(谷歌计算引擎)
- 谷歌云日志API
- 谷歌云存储
- 谷歌云存储JSON API
- BigQueryAPI
- 谷歌云发布/订阅
- 谷歌云数据存储API
您可以使用Google云平台控制台立即访问所需的API。您的项目似乎没有启用Pubsub API。您是否已经阅读了《入门指南》中的说明,尤其是其中的部分。这里有一个链接,可以让你所需要的一切顺利进行
您可能还需要验证是否为正在运行数据流作业的项目正确设置了API和权限,以访问您尝试订阅的Pubsub主题。您的项目似乎没有启用Pubsub API。您是否已经阅读了《入门指南》中的说明,尤其是其中的部分。这里有一个链接,可以让你所需要的一切顺利进行
您可能还需要验证是否为正在运行数据流作业的项目正确设置了API和权限,以访问您试图订阅的Pubsub主题。谢谢。尽管独立使用了pubsub、dataflow等,但正如您所建议的那样,“启用一切”链接修复了它。谢谢Ben。尽管独立使用了pubsub、dataflow等,但正如您所建议的那样,“启用一切”链接修复了它。