Cloud 谷歌云在虚拟机之间共享数据

Cloud 谷歌云在虚拟机之间共享数据,cloud,google-cloud-platform,gpu,google-compute-engine,file-transfer,Cloud,Google Cloud Platform,Gpu,Google Compute Engine,File Transfer,我希望在Google Compute Engine上创建一个带有GPU的虚拟机,以便执行某些任务 现在的问题是,从我的本地网络上传到虚拟机的数据是巨大的,我的速度慢,不可靠的互联网严重限制了我。我知道使用SCP在unix机器之间进行文件传输,但即使这样也需要几个小时,这意味着我的GPU在线上最昂贵的组件将处于闲置状态,我将不收取任何费用 我曾想过先将文件传输到虚拟机,然后添加GPU,但在这种情况下,我无法编辑虚拟机以添加GPU 因此,我需要两种可能的解决方案 我是否可以向一个VM添加一个永久磁盘

我希望在Google Compute Engine上创建一个带有GPU的虚拟机,以便执行某些任务

现在的问题是,从我的本地网络上传到虚拟机的数据是巨大的,我的速度慢,不可靠的互联网严重限制了我。我知道使用SCP在unix机器之间进行文件传输,但即使这样也需要几个小时,这意味着我的GPU在线上最昂贵的组件将处于闲置状态,我将不收取任何费用

我曾想过先将文件传输到虚拟机,然后添加GPU,但在这种情况下,我无法编辑虚拟机以添加GPU

因此,我需要两种可能的解决方案

我是否可以向一个VM添加一个永久磁盘、传输数据、生成一个新VM并将磁盘移动到新VM?如果是,那怎么办

是否可以编辑现有VM以在创建后添加GPU实例?如果是,那怎么办


任何形式的帮助都将不胜感激。谢谢大家!

以下是一些建议:

将数据上传到bucket中,然后在需要时将数据从bucket中拉入VM。与将数据从本地机器复制到VM相比,这将相对较快。GCS还提供了在虚拟机上装载GCS存储桶的方法,然后可以根据需要读取/写入数据。GCS存储桶是此列表中最灵活的选项

您可以创建一个永久磁盘,将数据上传到其中一次。然后在需要时将其连接到基于GPU的虚拟机。您可以让多个虚拟机以只读模式同时连接同一磁盘

您可以对永久磁盘进行快照,并在需要时将快照恢复到新的永久磁盘上。这对于备份比您的主要用例更有用

考虑对数据进行分块和/或切分,以便在并行运行GPU上的工作负载时,可以通过管道从远程服务器(如GCS)提取数据


以下是一些建议:

将数据上传到bucket中,然后在需要时将数据从bucket中拉入VM。与将数据从本地机器复制到VM相比,这将相对较快。GCS还提供了在虚拟机上装载GCS存储桶的方法,然后可以根据需要读取/写入数据。GCS存储桶是此列表中最灵活的选项

您可以创建一个永久磁盘,将数据上传到其中一次。然后在需要时将其连接到基于GPU的虚拟机。您可以让多个虚拟机以只读模式同时连接同一磁盘

您可以对永久磁盘进行快照,并在需要时将快照恢复到新的永久磁盘上。这对于备份比您的主要用例更有用

考虑对数据进行分块和/或切分,以便在并行运行GPU上的工作负载时,可以通过管道从远程服务器(如GCS)提取数据


如果这是一个批处理工作负载,并且完成所需时间不到24小时,那么您应该使用可抢占机器来大幅降低成本

技术细节如下:

也许最新一代Intel Skylake CPU的highcpu很少适合您?我不认为你能抢占GPU机器


我的2美分。

如果这是一个批处理工作负载,并且听起来不到24小时就可以完成,那么您应该使用可抢占机器来大幅降低成本

技术细节如下:

也许最新一代Intel Skylake CPU的highcpu很少适合您?我不认为你能抢占GPU机器


我的2美分。

我特别需要用于计算的GPU,它不适用于可抢占的实例。在任何情况下,GPU的价格都是额外的,与虚拟机无关,所以不会有太大的区别。谢谢你。我将在未来的项目中牢记这一点。我特别需要GPU用于我的计算,它不适用于可抢占的实例。在任何情况下,GPU的价格都是额外的,与虚拟机无关,所以不会有太大的区别。谢谢你。我将在未来的项目中牢记这一点。