Python 如何通过ssh发送自定义数据集？

我必须在一个远程GPU上训练一个GAN（使用pytorch用Python编码），我只能通过ssh从我的PC访问它，但是我有一个自定义数据集（我不能从任何地方下载），它存储在没有GPU的PC中

我在Google上进行了大量搜索，并尝试使用

scp

命令（这是我找到的唯一解决方案），但数据集似乎太大，无法在可接受的时间内发送（13GB大小）

---

如果我不能通过

ssh

连接以外的任何方式访问PC，为了训练网络，我如何在适当的时间内将数据集传输到带有GPU的PC上？此外，培训完成后，我如何检索

状态_dict（）

并将其存储到电脑中？

它与数据集本身无关。您可以使用SSH将文件从PC传输到远程服务器，反之亦然，这意味着您也可以将数据/文件夹从远程服务器传输到本地PC

Rsync是一种实用工具，通过比较文件的修改时间和大小，在计算机和外部硬盘驱动器之间以及网络计算机之间高效地传输和同步文件。它还非常适合通过ssh传输大型文件，因为它能够从先前中断的传输恢复

发件人：

rsync

通常用于同步文件和目录 在两个不同的系统之间。例如，如果命令

rsync
本地文件user@remote-主机：远程文件运行时，
rsync
将使用
SSH
以用户身份连接到远程主机。[7]一旦连接，它将
调用远程主机的
rsync
，然后这两个程序将
确定需要传输本地文件的哪些部分，以便
远程文件与本地文件匹配

如何使用：
与
cp
，
rcp
和
scp
类似，
rsync
要求指定源和目标，其中至少一个必须是本地的

通用语法：

rsync [OPTION] … SRC … [USER@]HOST:DEST
rsync [OPTION] … [USER@]HOST:SRC [DEST]

其中SRC是要从中复制的文件或目录（或多个文件和目录的列表），DEST是要复制到的文件或目录，方括号表示可选参数

简单示例：

以下命令将把目录
dataset
中的所有文件传输到远程服务器的
home
目录：

rsync -avz dataset/ root@192.168.0.101:/home/

-avz开关选项仅表示在存档模式下压缩和传输文件，并在屏幕上显示进度：

Common options : 
-v : verbose
-r : copies data recursively (but don’t preserve timestamps and permission while transferring data
-a : archive mode, archive mode allows copying files recursively and it also preserves symbolic links, file permissions, user & group ownerships and timestamps
-z : compress file data
-h : human-readable, output numbers in a human-readable format

你也可以阅读更多内容。
你认为scp速度慢而不是像网络那样的外部设备是有原因的吗？@jordanm嗯，考虑到我有一个150/15的网络计划，并且我尝试过使用以太网电缆（在速度测试等之后，检查一切是否正常），我认为这不是原因。。。