Google cloud platform 直接从url下载大数据到google云存储桶

我想从URL“https”直接下载一个大数据集到google云存储（Bucket）

我已经使用了gsutil流命令。通过谷歌云壳

curl-L | gsutil cp-gs://

结果是

我们在您的Google Cloud Shell会话中检测到过多的出口网络流量。中断或减少此流量，否则您的会话将被终止

---

这是因为您正在使用

curl

下载到本地环境（云shell），然后发送到GCS

这样做的方法是使用

有一个选项是为传输服务提供一个服务，服务本身将把所有数据下载到bucket中

在本地计算机中安装

然后从那里运行命令

它将从本地计算机下载该文件，然后将其用作gsutil命令的输入。如果您的文件太大，您将无法使用Cloud Shell完成此操作，您可能会遇到“设备上没有空间”的问题

---

您在Jofre的帖子的评论中还提到，您尝试了存储传输服务，但失败了。请分享错误，让我们看看它是如何失败的，然后我们也许可以帮助您。

我正在尝试，但网速低会导致很长时间。如何获取存储传输服务错误？@christopher我无法使用存储传输服务，因为我没有文件大小。我已经按照您的链接在本地计算机上安装了SDK。如何使用sdk运行.sh文件？的副本