Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Ubuntu 将数据集从我的PC上传到Google云平台上的虚拟机实例的最佳方式_Ubuntu_Google Cloud Platform_Google Drive Api_Virtual Machine_Gcloud - Fatal编程技术网

Ubuntu 将数据集从我的PC上传到Google云平台上的虚拟机实例的最佳方式

Ubuntu 将数据集从我的PC上传到Google云平台上的虚拟机实例的最佳方式,ubuntu,google-cloud-platform,google-drive-api,virtual-machine,gcloud,Ubuntu,Google Cloud Platform,Google Drive Api,Virtual Machine,Gcloud,我有一个大数据集(大约50GB)用于深度学习实验。我将在谷歌云平台提供的虚拟机实例上训练我的网络。因此,我需要将数据集上传到虚拟机。 我已尝试将gcloud控制台与以下命令一起使用: gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset 它可以工作,但需要大约50个小时才能结束 有没有办法让这个过程更快 我还有一个谷歌硬盘存储库,我在其中存储了我的数据集

我有一个大数据集(大约50GB)用于深度学习实验。我将在谷歌云平台提供的虚拟机实例上训练我的网络。因此,我需要将数据集上传到虚拟机。 我已尝试将gcloud控制台与以下命令一起使用:

gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset
它可以工作,但需要大约50个小时才能结束

有没有办法让这个过程更快

我还有一个谷歌硬盘存储库,我在其中存储了我的数据集。是否可以从Google Drive直接下载到我的虚拟机?
我的虚拟机有Ubuntu 18.04 LTS版本的操作系统

所需时间主要由网络上最慢的链路控制。让我们假设承载GCP虚拟机(计算引擎)的网络不会这样做。你的谷歌硬盘也可能不是最慢的。运行gcloud的本地计算机的路径很可能成为瓶颈。我建议您在GCP上登录到您的虚拟机,并从您的数据运行下载,据我所知,该数据位于驱动器上

似乎有很多方法可以实现这一点

  • 在GCP计算机上运行VNC 这将为您提供一个从本地PC访问但从GCP呈现的GUI环境。从那里你可以安装Chrome(在GCP上),访问你的驱动器并开始下载

  • 下载驱动器访问工具 另一种方法是安装驱动器数据访问工具。下面是我在谷歌搜索中发现的一个例子,但其他的可能会起作用:

  • 按照那里的食谱,将驱动器文件下载到您的GCP上

    如果您需要进一步的大数据工作,请考虑将数据放置在谷歌云存储上,然后应用其他选项。