Google cloud platform GCP数据流、Dataproc、Bigtable

Google cloud platform GCP数据流、Dataproc、Bigtable,google-cloud-platform,google-bigquery,google-cloud-dataflow,google-cloud-dataproc,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,Google Cloud Dataproc,我正在选择服务来编写JSON消息,并将其从Cloud Pub/Sub转换为Google Cloud上的数据管道的BigQuery。我想尽量降低服务成本。我还想监控和调节输入数据量,这些数据量在大小上会发生变化,而手动干预最少。我该怎么办 A.使用CloudDataProc运行转换。监视群集的CPU利用率。通过命令行调整集群中工作节点的数量 B.使用CloudDataProc运行转换。使用diagnose命令生成操作输出存档。找到瓶颈并调整集群资源 C.使用云数据流运行转换。使用Stackdriv

我正在选择服务来编写JSON消息,并将其从Cloud Pub/Sub转换为Google Cloud上的数据管道的BigQuery。我想尽量降低服务成本。我还想监控和调节输入数据量,这些数据量在大小上会发生变化,而手动干预最少。我该怎么办

A.使用CloudDataProc运行转换。监视群集的CPU利用率。通过命令行调整集群中工作节点的数量

B.使用CloudDataProc运行转换。使用diagnose命令生成操作输出存档。找到瓶颈并调整集群资源

C.使用云数据流运行转换。使用Stackdriver监控作业系统延迟。对工作实例使用默认的自动缩放设置

D.使用云数据流运行转换。监视作业采样的总执行时间。将作业配置为在需要时使用非默认计算引擎计算机类型。

C

使用pubsub上的数据流来转换数据,并让它将行写入BQ。您可以直接从数据流监视ETL管道,并在顶部使用stackdriver。Stackdriver还可用于启动事件等


使用自动缩放可最大限度地减少手动操作的数量。基本上,当此解决方案设置正确时,它根本不需要工作。

如果您同意答案或希望了解更多信息,请告诉我。非常好的解释。我还有一些报价,你能帮我回答一下吗?我没有提前拿到