Google cloud platform 订阅Google Pub/sub topic到云存储Avro文件给我的“;超过配额;错误-在初学者教程中?

Google cloud platform 订阅Google Pub/sub topic到云存储Avro文件给我的“;超过配额;错误-在初学者教程中?,google-cloud-platform,google-bigquery,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,Google Cloud Pubsub,我正在浏览Google的,我已经进入了第10步,在这里我应该设置一个从我的主题到云存储上保存的avro文件的导出 但是,当我尝试运行作业时,在完全完成教程中提到的操作之后,我会收到一个错误,告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中,我注意到它显示1230/818磁盘GB。这是否意味着作业需要1230 GB的磁盘空间?目前,Firestore?中只有100个文档?。我觉得这不对吗 我的所有云存储桶都是空的: 但是,当我查看在我设置的第一个导出作业(Pubsub主题到BigQ

我正在浏览Google的,我已经进入了第10步,在这里我应该设置一个从我的主题到云存储上保存的avro文件的导出

但是,当我尝试运行作业时,在完全完成教程中提到的操作之后,我会收到一个错误,告诉我我的项目没有足够的配额来执行工作流。在消息的配额摘要中,我注意到它显示
1230/818磁盘GB
。这是否意味着作业需要1230 GB的磁盘空间?目前,Firestore?中只有100个文档?。我觉得这不对吗

我的所有云存储桶都是空的:

但是,当我查看在我设置的第一个导出作业(Pubsub主题到BigQuery)中使用的资源时,我甚至更加困惑

它似乎在使用大量的资源

Current vCPUs   
4
Total vCPU time     
2.511 vCPU hr
Current memory  
15 GB
Total memory time   
9.417 GB hr
Current PD  
1.2 TB
Total PD time   
772.181 GB hr
Current SSD PD  
0 B
Total SSD PD time   
0 GB hr

这是真的吗?还是我做了一些完全错误的事情,因为所有这些资源都被使用了?我的意思是,根本没有任何活动,它只是一个订阅,对吗?

在幕后,这一步是调用一个云数据流模板(确切地说是一个),从发布/订阅中读取数据并写入GCS。反过来,云数据流使用GCE实例(VM)作为其工作池。云数据流正在请求太多的资源(需要磁盘、ram、VCPU等的GCE实例),并且正在达到项目的限制/配额

可选参数
下配置作业时,您可以覆盖默认的工作线程数(尝试从1开始),还可以设置最小的VM类型(n1-standard-1)。这也会为你节省一些钱。奖金


谢谢。它现在起作用了:)但还有一个问题。在我看来,对于向BigQuery发送数据的主题的每个活动订阅,虚拟服务器都在持续运行?所以,不管我们需要发送的数据有多少,我们每个月都要为整个计算引擎支付大约60美元?我认为GCP发布子模型类似于Lambda->SNS->DynamoDB(在AWS术语中)。有没有一种方法可以在不运行服务器的情况下将数据从Firebase云函数馈送到BigQuery中?更准确地说:通过直接从Firebase云函数调用BigQuery API,而不是先从函数发布到主题,将行插入到BigQuery中,会有什么损失?(考虑到没有其他人订阅该主题)