Ssh 用于从EC2传输大量小文件的多流SCP

我正在使用

scp

从EC2实例下载数百万个小文件（100-1000 kb）

scp

似乎一次只能传输一个文件，无法充分利用我的1 gbps连接

---

有没有更有效的方法下载这些文件？出于各种技术原因，实现和下载不是一种选择

看一看。它也可以通过ssh工作。

看一看。它也可以通过ssh工作。

看一看。它也可以通过ssh工作。

看一看。它也可以通过ssh工作。

如果您仍然能够使用

tar

，但无法在远程主机上创建tarball，则可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用

v

选项来

tar

，也可以使用获取有关传输的反馈

如果上述选项也不可用，请尝试并行运行几个（十几个）

scp

，以减少由许多小文件引起的开销影响

---

（还要确保文件系统不是瓶颈。）

如果您仍然能够使用

tar

，但无法在远程主机上创建tarball，则可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用

v

选项来

tar

，也可以使用获取有关传输的反馈

如果上述选项也不可用，请尝试并行运行几个（十几个）

scp

，以减少由许多小文件引起的开销影响

---

（还要确保文件系统不是瓶颈。）

如果您仍然能够使用

tar

，但无法在远程主机上创建tarball，则可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用

v

选项来

tar

，也可以使用获取有关传输的反馈

如果上述选项也不可用，请尝试并行运行几个（十几个）

scp

，以减少由许多小文件引起的开销影响

---

（还要确保文件系统不是瓶颈。）

如果您仍然能够使用

tar

，但无法在远程主机上创建tarball，则可以尝试以下操作：

ssh ec2instance "tar c /path/to/source" | tar x -C /path/to/destination

您可以使用

v

选项来

tar

，也可以使用获取有关传输的反馈

如果上述选项也不可用，请尝试并行运行几个（十几个）

scp

，以减少由许多小文件引起的开销影响

（还要确保文件系统不是瓶颈。）