Google cloud dataflow 无法使用PubsubIO创建管道。读取,设置资源。。。失败

Google cloud dataflow 无法使用PubsubIO创建管道。读取,设置资源。。。失败,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Dataflow,Google Cloud Pubsub,我的测试管道非常简单。它尝试读取通过控制台创建的主题 public static void main(String[] args) throws IOException { Options options = PipelineOptionsFactory.fromArgs(args). withValidation().as(Options.class); options.setStreaming(true); Pipeline pipeli

我的测试管道非常简单。它尝试读取通过控制台创建的主题

public static void main(String[] args) throws IOException {

    Options options = PipelineOptionsFactory.fromArgs(args).
            withValidation().as(Options.class);

    options.setStreaming(true);

    Pipeline pipeline = Pipeline.create(options);

    PCollection<String> input = pipeline
            .apply(PubsubIO.Read.topic(options.getPubsubTopic()))
            .apply(ParDo.of(new ExtractEvents()));

    pipeline.run();

}
publicstaticvoidmain(字符串[]args)引发IOException{
Options=PipelineOptionsFactory.fromArgs(args)。
withValidation().as(Options.class);
选项。设置流(true);
Pipeline=Pipeline.create(选项);
PCollection输入=管道
.apply(PubsubIO.Read.topic(options.getpubsubsubtopic()))
.apply(ParDo.of(new ExtractEvents());
pipeline.run();
}
当我尝试执行此管道时,出现以下错误:

工作流失败。原因:(DE5F7777E2E08C1D9):步骤 设置\资源\附加主题。订阅-375367840492394866711:设置 更新资源additionaltopic.subscription-3753678404923948667失败

数据流控制台还报告一个内部错误:

我在文档中找不到任何东西,我尝试解决这个问题的尝试也没有成功

解决方案

要运行数据流作业,项目必须启用以下Google云平台API:

  • 谷歌云数据流API
  • 计算引擎API(谷歌计算引擎)
  • 谷歌云日志API
  • 谷歌云存储
  • 谷歌云存储JSON API
  • BigQueryAPI
  • 谷歌云发布/订阅
  • 谷歌云数据存储API

您可以使用Google云平台控制台立即访问所需的API。

您的项目似乎没有启用Pubsub API。您是否已经阅读了《入门指南》中的说明,尤其是其中的部分。这里有一个链接,可以让你所需要的一切顺利进行


您可能还需要验证是否为正在运行数据流作业的项目正确设置了API和权限,以访问您尝试订阅的Pubsub主题。

您的项目似乎没有启用Pubsub API。您是否已经阅读了《入门指南》中的说明,尤其是其中的部分。这里有一个链接,可以让你所需要的一切顺利进行


您可能还需要验证是否为正在运行数据流作业的项目正确设置了API和权限,以访问您试图订阅的Pubsub主题。

谢谢。尽管独立使用了pubsub、dataflow等,但正如您所建议的那样,“启用一切”链接修复了它。谢谢Ben。尽管独立使用了pubsub、dataflow等,但正如您所建议的那样,“启用一切”链接修复了它。