Python 谷歌云存储/大查询成本估算

Python 谷歌云存储/大查询成本估算,python,google-bigquery,google-cloud-platform,google-cloud-storage,Python,Google Bigquery,Google Cloud Platform,Google Cloud Storage,我正试图估算我的谷歌云计划每月的总成本 我的程序所做的是将输入文件从AmazonS3服务器加载到Google的云存储平台。然后,它使用导入的数据在GoogleBigQuery中创建一个表,然后将创建的表以JSON格式导出回云存储 假设我有一个50 GB大小的文件,它驻留在AmazonS3中 我的程序将这个50 GB的数据文件导入云存储,将其加载到BigQuery中的一个表中,最后将其导出回云存储 我估计50GB文件包含600000000(600万)行 在云存储的应用程序中: 我已经将“存储数据”

我正试图估算我的谷歌云计划每月的总成本

我的程序所做的是将输入文件从AmazonS3服务器加载到Google的云存储平台。然后,它使用导入的数据在GoogleBigQuery中创建一个表,然后将创建的表以JSON格式导出回云存储

假设我有一个50 GB大小的文件,它驻留在AmazonS3中

我的程序将这个50 GB的数据文件导入云存储,将其加载到BigQuery中的一个表中,最后将其导出回云存储

我估计50GB文件包含600000000(600万)行

在云存储的应用程序中:

我已经将“存储数据”字段设置为100 GB(50 GB输入文件,50 GB导出文件)

我已将“实体读取”字段(假设每个实体都是表中的一行)设置为600000000(必须执行读取操作才能将数据加载到BigQuery)

最后,我将“实体写入”字段设置为1200000000(从S3将数据导入云存储时执行一次写入操作,从BigQuery导出数据时执行另一次写入操作)

这给了我每月2530.52美元的成本估算,我发现对于一个50 GB的数据文件来说这是相当高的

我想知道的是我的估计值是否正确


此外,除了云存储成本外,我的计划还将产生哪些其他成本?(因为我也在使用谷歌云传输服务)

不确定您填写的页面,但在BigQuery页面上没有类似于
实体读取的字段

以下是计算结果:

Storage 100 GB
Streaming Inserts 0 MB
Queries 10 TB
Total Estimated Cost: $47.00 per 1 month 


请注意,从/到文件的加载/导出是免费的,您只需支付文件的存储费用。

即使用于填充BigQuery表的50 GB数据文件位于Google云存储中,在将数据导入到表中时,BigQuery是否也有单独的存储成本?我把计算值放在了云存储计算器中。是的,BigQuery表也有存储空间+GCS存储空间,所以如果我将数据存储在GCS中并导入到BigQuery中,我将不得不支付GCS和BigQuery中的数据存储费用?如果导入后将文件保留在GCS中,是的(完成后应将其删除)。但如果您只保留到进程运行为止,您将按分钟比例支付GCS存储成本。谢谢您提供的信息。