Amazon ec2 GNU并行:保持连接活动

Amazon ec2 GNU并行:保持连接活动,amazon-ec2,amazon-s3,gnu-parallel,Amazon Ec2,Amazon S3,Gnu Parallel,我正在使用GNU Parallel将1000个文件从S3下载到两台EC2主机(-S:,R),其中“R”是远程对等的IP。 使用--jobs 64,从S3下载64个文件(相当大的文件)需要很长时间: 时间并行--jobs 64--joblog out.txt-S:,R--env HTTPS_PROXY--env S3_DIR“aws S3 cp${S3_DIR}part-{}.gz/my/path/”::`seq-f“%05g”0 1000` 结果,我得到了 Connection to R clo

我正在使用GNU Parallel将1000个文件从S3下载到两台EC2主机(-S:,R),其中“R”是远程对等的IP。
使用--jobs 64,从S3下载64个文件(相当大的文件)需要很长时间:

时间并行--jobs 64--joblog out.txt-S:,R--env HTTPS_PROXY--env S3_DIR“aws S3 cp${S3_DIR}part-{}.gz/my/path/”::`seq-f“%05g”0 1000` 结果,我得到了

Connection to R closed by remote host. 远程主机已关闭与R的连接。 这是由于远程对等机上的sshd配置,我无法更改这些设置(机器不是我的)


查看文档,我找不到像keep alive这样的东西。我如何解决这个问题?谢谢。

您可能无法更改sshd\u配置,但它通常会尊重ssh提供的选项:

ssh -o TCPKeepAlive ...
如果这里是这种情况,您可以使用不同的ssh命令使GNU并行:

parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo
parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo