Google bigquery 从BigQuery(联邦/外部查询)查询不同GCS存储类中的文件/数据需要多少成本?

Google bigquery 从BigQuery(联邦/外部查询)查询不同GCS存储类中的文件/数据需要多少成本?,google-bigquery,google-cloud-storage,Google Bigquery,Google Cloud Storage,我有2个GCS存储桶,包含相同的、分片的CSV文件。Bucket联合查询标准的存储类为standard。Bucket federated query archive的存储类为archive 在存储桶上使用联邦/外部源运行相同的查询会产生完全相同的计费/处理字节数,即57.13GB的数据。性能(查询时间)大致相同 据BigQuery定价的官员称: “从BigQuery查询外部数据源时,您需要付费 有关查询读取的字节数。有关更多信息,请参阅 查询定价。在云上存储数据也要收费 存储。有关更多信息,请参

我有2个GCS存储桶,包含相同的、分片的CSV文件。Bucket联合查询标准的存储类为
standard
。Bucket federated query archive的存储类为
archive

在存储桶上使用联邦/外部源运行相同的查询会产生完全相同的计费/处理字节数,即57.13GB的数据。性能(查询时间)大致相同

据BigQuery定价的官员称:

“从BigQuery查询外部数据源时,您需要付费 有关查询读取的字节数。有关更多信息,请参阅 查询定价。在云上存储数据也要收费 存储。有关更多信息,请参阅云存储定价。“

因此,用户需要支付两项费用:处理的数据和在地面军事系统中存储的数据。这完全有道理


我的问题:查询GCS(例如检索成本)或不同存储类别之间是否存在我看不到(或不知道)的隐藏成本?

目前,从存档或Coldine存储(隐藏或其他)读取数据不收取任何费用。这并不意味着这在未来不会改变

由于BigQuery访问GCS的方式,GCS向BigQuery收取访问费,而不是您(即内部会计事务)

如果使用存档存储,性能可能不一致。对于该存储类,冗余拷贝更少,因此尾部延迟将更高

然而,对于coldline,您应该看到与标准GCS存储大致相当的性能。原因是,在封面下,coldline的实现方式与标准存储完全相同。不同之处在于,coldline的存储费用较低,但在读取时可以补足

由于BigQuery不会向您收取读取费用,如果您在GCS中对数据进行大量联邦查询,但在其他情况下不会读取太多数据,那么最好使用coldline


同样,这是一个时间点响应,将来可能会发生变化。

是否有记录在案?另外,在我对bucket信息执行查询之后,它仍然将“archive”显示为其class.no。没有看到这方面的任何明确信息。这是我的猜测(这就是为什么我把它作为评论)。听起来像是一个疯狂的猜测,虽然当我现在读它没有问题。我知道直接通过GCS API检索归档数据的成本更高,但不清楚从BigQuery访问时这些成本是否会转嫁到用户身上。在我的账单中,我也没有看到任何这方面的证据。你应该为存档文件类的读取付费。但是,您在计费部分没有看到任何内容这一事实是很奇怪的(A类或B类非常低,这不成问题。但是归档类读取非常昂贵:每GB 0.05美元,在您的情况下为3美元)。这听起来更像是一个bug而不是一个特性!您是否尝试过其他存储类?存档类是最新的,这可能是一个错误!!公平积分纪尧姆。我还没有尝试过其他存储类。那是个好主意。我会这样做,然后再报告。