Google bigquery 使用BigQuery更好地理解流式插入

Google bigquery 使用BigQuery更好地理解流式插入,google-bigquery,google-cloud-platform,Google Bigquery,Google Cloud Platform,据我所知,BigQuery流媒体API发生了重大变化。正如我在5月14日周四从谷歌云团队收到的消息: “2013年,我们推出了Google BigQuery流媒体API,使快速分析大量数据变得容易。该产品在2015年1月1日之前是免费的,当时我们开始根据插入到BigQuery表中的行数向Google BigQuery中的数据流收取费用。从那时起,我们了解了更多关于客户如何使用Google BigQuery的信息,从2015年8月12日起,我们将停止按插入行数对Google BigQuery流媒体

据我所知,BigQuery流媒体API发生了重大变化。正如我在5月14日周四从谷歌云团队收到的消息:

“2013年,我们推出了Google BigQuery流媒体API,使快速分析大量数据变得容易。该产品在2015年1月1日之前是免费的,当时我们开始根据插入到BigQuery表中的行数向Google BigQuery中的数据流收取费用。从那时起,我们了解了更多关于客户如何使用Google BigQuery的信息,从2015年8月12日起,我们将停止按插入行数对Google BigQuery流媒体收费,而是按插入字节数收费。新的定价将为每200MB 0.01美元,每行最小计费大小为1KB。我们已经将默认的插入速率限制从每秒10000行/表增加到每秒100000行/表。此外,行大小限制已从20KB增加到1MB。这些更改将使客户在设计插入策略时具有更大的灵活性,并更准确地反映流式插入功能提供的价值。有关定价的其他信息,请参见我们的定价页面。”

基于此,我有几个重要问题:

  • 是否有一种方法可以轻松查看云控制台中当前流入客户帐户的数据量。此外,我是否应该在计费表中包含单独的行?我在这里询问,因为我在别处查看了,但没有找到答案。我在当前计费表中也没有看到任何帮助(见下文).这个问题对于目前每周通过BigQuery推送大量TB数据的用户来说非常重要
  • 我想澄清“每行最小计费大小为1KB”这一行。如果您将每行少于1KB的数据传递到表中,这是否意味着您不需要为该行收取任何数据费用

  • 最后,是否有一种快速的方法来计算变更的潜在财务影响,或者有任何关于以编程方式优化流式插入调用以最小化成本的最佳方法的指导


  • 提前感谢您的帮助!

    我对规则的解释,我必须向团队确认:

    • 如果您的每行小于1KB,这将使价格从每100000行0.01美元降低到每200000行0.01美元,比以前的定价有效降低50%
    • 如果您的每行正好是2KB,您将不会看到任何价格变化
    • 只有当您的行大于2KB时,才会看到价格上涨

    更多好消息:系统将不再将每行限制为20KB,现在您可以将每行的数据流限制为1MB。

    关于您的问题,我们在计费屏幕上看到项目中的StreamingBytes条目,不确定您为什么看不到它:感谢您的确认和屏幕截图!最近,每流插入500行的限制有点烦人,您应该将其增加10倍或200倍。@Pentium10我很乐意通过电子邮件传递反馈。更多背景信息?最近引入了:每个请求的最大行数:500,如前所示,在同一张照片中发送10k行是可以的。我不认为这是明智之举。感谢后续Felipe!如果您发现任何其他信息,请让我确定现在。一旦你被确认,我将点击并接受答案!@NathanielPayne是的,确认!