Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 计划定期将数据从GCS加载到BigQuery_Google Cloud Platform_Google Bigquery_Google Cloud Storage_Airflow_Airflow Scheduler - Fatal编程技术网

Google cloud platform 计划定期将数据从GCS加载到BigQuery

Google cloud platform 计划定期将数据从GCS加载到BigQuery,google-cloud-platform,google-bigquery,google-cloud-storage,airflow,airflow-scheduler,Google Cloud Platform,Google Bigquery,Google Cloud Storage,Airflow,Airflow Scheduler,我对它进行了研究,目前提出了一个使用Apache Airflow的策略。我还是不知道该怎么做。我得到的大多数博客和答案都是直接的代码,而不是一些更好理解它的材料。此外,请建议是否有一个好的方法来做这件事 我还得到了一个答案,比如使用后台云函数和云存储触发器 您可以使用BigQuery,但请注意它仍处于测试阶段 它为您提供了一个选项,可以安排从云存储到BigQuery的传输,但有一定的限制 您可以使用BigQuery,但请注意它仍处于测试阶段 它为您提供了一个选项,可以安排从云存储到BigQuer

我对它进行了研究,目前提出了一个使用Apache Airflow的策略。我还是不知道该怎么做。我得到的大多数博客和答案都是直接的代码,而不是一些更好理解它的材料。此外,请建议是否有一个好的方法来做这件事

我还得到了一个答案,比如使用
后台云函数
云存储触发器

您可以使用BigQuery,但请注意它仍处于测试阶段

它为您提供了一个选项,可以安排从云存储到BigQuery的传输,但有一定的限制

您可以使用BigQuery,但请注意它仍处于测试阶段

它为您提供了一个选项,可以安排从云存储到BigQuery的传输,但有一定的限制

我得到的大多数博客和答案都是直接代码

Apache Airflow为许多任务提供了丰富的UI,但这并不意味着您不应该为了完成任务而编写代码

对于您的情况,您需要使用针对Apache的BigQuery

关于如何做到这一点的一个好方法可以在下面的文章中找到

我得到的大多数博客和答案都是直接代码

Apache Airflow为许多任务提供了丰富的UI,但这并不意味着您不应该为了完成任务而编写代码

对于您的情况,您需要使用针对Apache的BigQuery

关于如何做到这一点的一个好方法可以在下面的文章中找到