Ubuntu 将数据集从我的PC上传到Google云平台上的虚拟机实例的最佳方式
我有一个大数据集(大约50GB)用于深度学习实验。我将在谷歌云平台提供的虚拟机实例上训练我的网络。因此,我需要将数据集上传到虚拟机。 我已尝试将gcloud控制台与以下命令一起使用:Ubuntu 将数据集从我的PC上传到Google云平台上的虚拟机实例的最佳方式,ubuntu,google-cloud-platform,google-drive-api,virtual-machine,gcloud,Ubuntu,Google Cloud Platform,Google Drive Api,Virtual Machine,Gcloud,我有一个大数据集(大约50GB)用于深度学习实验。我将在谷歌云平台提供的虚拟机实例上训练我的网络。因此,我需要将数据集上传到虚拟机。 我已尝试将gcloud控制台与以下命令一起使用: gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset 它可以工作,但需要大约50个小时才能结束 有没有办法让这个过程更快 我还有一个谷歌硬盘存储库,我在其中存储了我的数据集
gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset
它可以工作,但需要大约50个小时才能结束
有没有办法让这个过程更快
我还有一个谷歌硬盘存储库,我在其中存储了我的数据集。是否可以从Google Drive直接下载到我的虚拟机?
我的虚拟机有Ubuntu 18.04 LTS版本的操作系统 所需时间主要由网络上最慢的链路控制。让我们假设承载GCP虚拟机(计算引擎)的网络不会这样做。你的谷歌硬盘也可能不是最慢的。运行gcloud的本地计算机的路径很可能成为瓶颈。我建议您在GCP上登录到您的虚拟机,并从您的数据运行下载,据我所知,该数据位于驱动器上 似乎有很多方法可以实现这一点
如果您需要进一步的大数据工作,请考虑将数据放置在谷歌云存储上,然后应用其他选项。
看