Google app engine BigQuery联合查询的性能如何？
我正在重新设计一个服务，以便使用BigQuery搜索大型数据集。最初，我打算每天晚上设置一个流程，将数据从CloudSQL流式传输到BigQuery，但在研究阶段我意识到了联邦查询。也许我遗漏了一些明显的东西，但我似乎找不到任何特别说明BigQuery联邦查询是否与普通BigQuery查询一样具有性能的东西。它似乎专注于在多个系统中存储数据和联邦查询的问题，从而更容易将MySQL（或Postgres）数据与BigQuery数据连接起来Google app engine BigQuery联合查询的性能如何？,google-app-engine,google-bigquery,Google App Engine,Google Bigquery,我正在重新设计一个服务，以便使用BigQuery搜索大型数据集。最初，我打算每天晚上设置一个流程，将数据从CloudSQL流式传输到BigQuery，但在研究阶段我意识到了联邦查询。也许我遗漏了一些明显的东西，但我似乎找不到任何特别说明BigQuery联邦查询是否与普通BigQuery查询一样具有性能的东西。它似乎专注于在多个系统中存储数据和联邦查询的问题，从而更容易将MySQL（或Postgres）数据与BigQuery数据连接起来 联邦查询是否充分利用了BigQuery的全部或大部分优势（使
联邦查询是否充分利用了BigQuery的全部或大部分优势（使用数千台机器执行扫描），或者这是不可能的？Google说“*的性能可能不如查询BigQuery表中的数据好”，但有人使用过它并发现它接近或类似吗？性能仅限于您的CloudSQL实例的容量。这是你的瓶颈 当然你已经读过了，但是从不同的部分收集信息，你可以看到实际发生的事情如下 BigQuery将发送一个要在CloudSQL实例上执行的查询。 查询结果将由BigQuery读取并存储在临时表中 请记住，这意味着您在CloudSQL实例中增加了一些负载，并且您需要在BigQuery中读取字节（并为此付费）
这显然不同于使用商业工具（如StitchData或Fivetran）在BigQuery中复制CloudSQL数据，然后直接在BigQuery中查询它 性能仅限于CloudSQL实例的容量。这是你的瓶颈 当然你已经读过了，但是从不同的部分收集信息，你可以看到实际发生的事情如下 BigQuery将发送一个要在CloudSQL实例上执行的查询。 查询结果将由BigQuery读取并存储在临时表中 请记住，这意味着您在CloudSQL实例中增加了一些负载，并且您需要在BigQuery中读取字节（并为此付费） 这显然不同于使用商业工具（如StitchData或Fivetran）在BigQuery中复制CloudSQL数据，然后直接在BigQuery中查询它