Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/spring-mvc/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google bigquery 如何从另一个BigQuery数据集创建BigQuery数据集?_Google Bigquery - Fatal编程技术网

Google bigquery 如何从另一个BigQuery数据集创建BigQuery数据集?

Google bigquery 如何从另一个BigQuery数据集创建BigQuery数据集?,google-bigquery,Google Bigquery,我需要了解以下内容: 1.)一个BigQuery如何连接到另一个BigQuery,如何应用一些逻辑并创建另一个BigQuery。例如,如果我有一个像Data Stage这样的ETL工具,并且我们上传了一些数据,以便我们以BigQuery的形式使用。因此,在DataStage或使用任何其他技术时,我如何设计作业,以便源是一个BQ,目标是另一个BQ 2.)我想实现我的输入将是一个视图(BigQuery),然后需要在BigQuery视图上运行一些逻辑,然后加载到另一个BigQuery视图中 3.)用于

我需要了解以下内容:

1.)一个BigQuery如何连接到另一个BigQuery,如何应用一些逻辑并创建另一个BigQuery。例如,如果我有一个像Data Stage这样的ETL工具,并且我们上传了一些数据,以便我们以BigQuery的形式使用。因此,在DataStage或使用任何其他技术时,我如何设计作业,以便源是一个BQ,目标是另一个BQ

2.)我想实现我的输入将是一个视图(BigQuery),然后需要在BigQuery视图上运行一些逻辑,然后加载到另一个BigQuery视图中

3.)用于将一个BigQuery连接到另一个BigQuery的技术是什么?是https还是任何其他技术


谢谢

如果您有大量数据要处理(许多GB),您应该直接在大查询数据库中进行数据转换。提取所有数据、在本地运行数据并将其发送回会非常缓慢。除了访问相关数据外,您不需要任何外部技术使一个视图依赖于另一个视图

理想的作业设计是大查询可以处理的SQL查询。如果试图跨不同项目链接表/视图,则源BQ表必须以SQL查询的
FROM
子句中完全指定的形式
projectName.datasetName.tableName
列出。项目名称在谷歌云中是全局唯一的

必须正确设置访问数据的权限。BQ提供了对谁可以访问的细粒度控制,它在BQ文档中。如果合适,您还可以启用对所有BQ用户的公共访问

一旦有了SQL查询,您可以通过命令行(bq工具)、web控制台或API将SQL发送到Google BigQuery。

1)您可以在DataStage中读取和写入BigQuery

2) Bigquery使用project.dataset.table格式的名称空间来访问整个数据库中的表。这使您可以像在同一数据库中一样操作GCP中的数据

要操作数据,可以使用或

要执行查询,可以使用或客户端库,例如


3) BigQuery是一个RESTful web服务,使用HTTPS

欢迎使用SO。我建议您先阅读,然后再阅读和,作为对SO工作原理的介绍,以及如何有效地提出问题的介绍。@MarkusDeibel虽然最好用一个具体的例子(带有代码)来说明它们被卡住的地方,但这在较高的层次上是可以回答的。