Google bigquery 最大的问题是放慢速度

Google bigquery 最大的问题是放慢速度,google-bigquery,Google Bigquery,我只是从biquery开始,我的DB很小(1个表中有10K行),我的查询是简单的计数和分组。 每次请求的时间和平均时间为3-4秒,但有时会跳到10秒和15秒 我正在使用BQ工具从Irland的amazon linux服务器进行查询 是否有可能更快地获得结果(在1秒以下),以便我能够更快地展示我的网页。这是预期的行为。在BigQuery中,您使用的是一个共享的基础设施,因此根据当前的使用情况,您的响应时间会更好或更差。实际上,批处理查询(那些不需要交互的查询)是通过不增加配额来鼓励和奖励的 您通常

我只是从biquery开始,我的DB很小(1个表中有10K行),我的查询是简单的计数和分组。 每次请求的时间和平均时间为3-4秒,但有时会跳到10秒和15秒 我正在使用BQ工具从Irland的amazon linux服务器进行查询


是否有可能更快地获得结果(在1秒以下),以便我能够更快地展示我的网页。

这是预期的行为。在BigQuery中,您使用的是一个共享的基础设施,因此根据当前的使用情况,您的响应时间会更好或更差。实际上,批处理查询(那些不需要交互的查询)是通过不增加配额来鼓励和奖励的

您通常不使用BigQuery作为主数据库来显示web应用程序中的数据。根据您想要做什么,BigQuery可以是一个大数据存储,您应该有另一个中间存储,您可以在其中存储计算结果以显示给用户。或者,在您的用例中,您并不真正需要BigQuery,而是有更好的解决方案

在任何情况下,您都无法避免几秒钟的等待(即使您选择Premium,您也可以获得更多关于该服务的保证,但在任何情况下,该服务的速度都不足以作为Web应用程序的主后端)

1)在成为“超快”数据库之前,Big Query是一个高度可扩展的数据库。它的设计目的是使用一种名为Dremel的技术处理大量数据,这些数据分布在多台不同的机器之间。因为它被设计为使用多台机器和并行处理,所以您应该期望具有具有良好性能的超级可扩展性

2)BigQuery是分析数十亿行的一种资产

例如:在5-10秒内分析所有维基百科的修订版并不坏,是吗?但是,即使是一个小得多的表也需要大约相同的时间,即使它有10k行

3)在这种规模下,您最好使用更传统的数据存储解决方案,如云SQL或App Engine数据存储。如果您想保持SQL功能,云SQL是最好的猜测

Sybase IQ通常安装在单个数据库中,不使用Dremel。这就是说,在许多情况下,它将比大查询更快……正如设计的那样


4)当然,性能不同于专用环境。您每月只需2万美元即可获得专用环境。

我打算获得数十亿行,我只是希望简单的查询将花费更少的时间