Python FTP和流

我需要创建一个“转盘”平台。我的服务器必须能够从FTP a获取文件并将其发送到FTP B。我使用了很多文件传输系统，因此我对ftplib、aspera、s3和其他传输协议没有问题

问题是，我在FTP A上有大文件（150G）。许多传输将同时发生，从许多FTP服务器或其他服务器到许多FTP服务器或其他服务器

我不希望我的平台实际存储这些文件以便将它们发送到其他位置。我也不想把所有的东西都放在内存里。。。我需要将二进制数据从A“流”到B，在我的传输平台上只需最少的费用

我正在研究ReadBuffer和WriteBuffer，但我找不到示例，文档对我来说有点神秘

有人有出发点吗

buff = io.open('/var/tmp/test', 'wb')

def loadbuff(data):
    buff.write(data)

self.ftp.retrbinary('RETR ' + name, loadbuff, blocksize=8)

所以我的数据是以buff的形式出现的，buff是一个对象，但当ftplib不断下载时，我如何开始从中读取数据呢

希望我足够清楚，欢迎任何想法

谢谢

也许这有帮助：