Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/ruby-on-rails-3/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google bigquery BigQuery性能_Google Bigquery - Fatal编程技术网

Google bigquery BigQuery性能

Google bigquery BigQuery性能,google-bigquery,Google Bigquery,有没有办法稳定查询的响应时间?例如,这两个执行相同查询的作业具有不同的响应时间: JobId:job_gzTkFvGculpLw0tQRMZvj6rskMI查询时间:00:00:09.2827336 JobId:job_9wXD9ONxDoI87lD6lOXZJSEM1aE查询时间:00:00:28.1064037 为什么同一个查询需要非常不同的响应时间 **编辑:projectId是nostrum.eu:nostrum默认情况下,BigQuery用于加快可能多次使用的常见查询的响应时间 如果要

有没有办法稳定查询的响应时间?例如,这两个执行相同查询的作业具有不同的响应时间:

JobId:job_gzTkFvGculpLw0tQRMZvj6rskMI查询时间:00:00:09.2827336

JobId:job_9wXD9ONxDoI87lD6lOXZJSEM1aE查询时间:00:00:28.1064037

为什么同一个查询需要非常不同的响应时间


**编辑:projectId是nostrum.eu:nostrum

默认情况下,BigQuery用于加快可能多次使用的常见查询的响应时间

如果要将数据不断加载或流式传输到数据库中,请务必记住这一点,因为缓存的查询结果可能不是查询的最新结果

如果要禁用查询缓存,可以在发送到API的查询正文中设置参数:

{
  "kind": "bigquery#queryRequest",
  "query": query,
  "defaultDataset": {
    "datasetId": string,
    "projectId": string
  },
  "useQueryCache": False
}

这将使您对同一查询的重复请求具有相对相同的响应时间,但您将为每个查询请求付费,而不是仅为缓存结果所需的一个请求付费。

BigQuery用户在共享基础结构中执行查询。好处是查询价格非常低(无需支付每小时的价格),但执行时间会根据同时执行的来自其他用户的并发查询数量而变化(这就是为什么BQ对每个用户强制执行并发查询配额限制)

如果需要一致性,BigQuery还为客户提供专用的基础架构模式,只有客户的查询在专用于他们的机器上运行。但是,这些机器需要每月保留一次。另外一个好处是,这些客户不受并发查询配额的限制,因为这是他们自己的游戏空间


FYI:如果你发布一个项目id和一个作业id,bigquery工程师更容易在日志中查找发生的事情。项目id是nostrum。eu:nostrumNow,这个jobId作业的响应时间超过了一分钟。FYI我查看了这些作业,这似乎不是预期的行为。在进一步诊断之后,我会给出一个更完整的回答。@JordanTigani这与此无关,但也要检查此支持请求(提到了ref),Mario看起来无法处理它。请注意,每次基础表更改时,BigQuery缓存都会自动失效,因此不应提供过时的数据。我们已与此基础结构的商业服务部门联系。商业服务说我们创建了一个虚拟机,但是如何从虚拟机使用BigQuery呢?你能详细介绍一下吗?奇怪。你有更多的细节我可以用来调查吗?正如你所建议的,我们联系了客户服务部,但他们不知道BigQuery的独家基础架构模式,他们告诉我们虚拟机,但我们认为你指的不是虚拟机。我们怎样才能承包这项独家服务?很抱歉没有提前注意到这个答复。你和谁谈过?你在哪里找到他们的联系人?我想知道你是否和谷歌或3d派对集成商谈过。嗨,菲利佩,你发布的链接不再提到“预留容量”。我只能在搜索结果中看到它的一瞥,但它链接到[1]的页面也不再有文本。[1]: