Hadoop 直接使用scp将hdfs文件复制到远程linux服务器？

我有一个将最新生成的HDFS文件复制到linux远程服务器的用例。我不想在本地文件系统中存储中间文件，然后对远程服务器执行scp

我知道这一点，但我想避免它（因为显而易见的原因——在本地fs中存储大型文件的开销）

hadoop fs-copyToLocal 然后是scp toMyLinuxFileSystem

---

是否有直接将hdfs文件复制到远程linux服务器的命令？

如果

ssh

到服务器可用，则可以使用linux管道流式传输数据

hdfs dfs -cat my-file.txt | ssh myserver.com 'cat > /path/to/my-file.txt'

第一个命令将文件数据作为流读取，第二个命令将其重定向到远程服务器。为我工作。考虑到ssh有时会超时，如果长时间没有任何连接

---

这个答案的功劳是：

为什么不从该服务器运行Hadoop命令<代码>sshuser@host“hadoop fs-copyToLocal…”

hdfs dfs -cat my-file.txt | ssh myserver.com 'cat > /path/to/my-file.txt'