Google cloud platform 最小化将非常大的tar文件上传到谷歌云存储的成本

我目前正在尝试以最低的价格上传一个非常大的文件（1.3 tb）并将其解压到谷歌云存储中

我最初考虑创建一个非常便宜的实例，只是为了下载文件并将其放入一个bucket中，然后创建一个具有大量RAM的新实例来卸载文件，然后将结果放入一个新bucket中。 然而，由于桶价格取决于请求I/O的nbr，我不确定它是否是最好的选择，即使对于性能，它也可能不是最好的

---

以最便宜的方式解压文件的最佳策略是什么？

首先介绍一些有关定价的背景信息：

谷歌一直在研究如何将数据输入地面军事系统。根据该指南：

今天，当您将数据移动到云存储时，不会收取任何进入流量费用。gsutil工具和存储传输服务均免费提供。有关最新的定价详细信息，请参阅GCP网络定价页面

法官说：

[流量类型：入口]价格：不收费，除非有负载平衡器等资源正在处理入口流量。对请求的响应计入出口，并收取费用

关于您使用GCE虚拟机写入GCS的想法，还有其他信息：

在以下情况下，如果您使用其他GCP服务访问云存储桶中的数据，则无需支付网络费用：

• 您的bucket和GCP服务位于同一个多区域或区域位置。例如，使用

  asia-east1

  计算引擎实例访问

  asia-east1

  存储桶中的数据

从中，还有关于预请求定价的信息：

A类操作：存储。*。插入[1]

[1] 使用JSON API的简单、多部分和可恢复上传都被视为一个A类操作

对于A类操作，每10000次操作的成本为$0.05或$0.10，具体取决于存储类型。我相信您只需要执行一个Class A操作（或者最多为每个上载的文件执行一个Class A操作），所以这可能不会增加多少总体使用量

---

现在回答您的问题：

对于您的用例，听起来您希望tarball中的文件是GCS中的单个文件（而不是将一个大tarball存储在GCS中的一个文件中）。第一步是将其解压到某个地方，第二步是将其复制到地面军事系统

除非您必须这样做（即，现在存放tarball的机器上没有足够的空间），否则我不建议在上传到GCE之前将tarball复制到GCE中的中间VM，原因有二：

gsutil cp

已经为您处理了一系列恼人的边缘情况：并行上载、在网络故障时恢复上载、重试、校验和比较等

使用任何GCE虚拟机都会增加整个拷贝操作的成本——磁盘成本加上虚拟机本身的成本

如果您想先试用风险较低的程序，请创建一个包含数兆字节数据和数个文件的小目录，然后使用

gsutil cp

复制它，然后检查您为此收取了多少费用。从地面军事系统定价页面：

费用每天都在增加，但云存储只在计费期结束时向您收费。您可以在谷歌云平台控制台的项目计费页面中查看未计费的使用情况

所以你只需要等一天，看看你的账单是多少