在一个大的20+;使用python的服务器上的gb文件

在一个大的20+;使用python的服务器上的gb文件,python,paramiko,linux-mint,Python,Paramiko,Linux Mint,您好,我在服务器上有大约16个20 gb以上的文件,我需要从中读取特定条目,如果我的计算机上保存了其中一个文件,我的代码可以按照正确的顺序读取文件 f = open('biodayk1.H2009', 'rb') lbl = array.array('f') bio = 0 for day in range(iday): f.seek(nx*ny*km*bio*4, 1) lbl.read(f, nx*ny*km) #reads the desired ibio

您好,我在服务器上有大约16个20 gb以上的文件,我需要从中读取特定条目,如果我的计算机上保存了其中一个文件,我的代码可以按照正确的顺序读取文件

f = open('biodayk1.H2009', 'rb')

lbl = array.array('f')

bio = 0 for day in range(iday):
    f.seek(nx*ny*km*bio*4, 1)
    lbl.read(f, nx*ny*km)    #reads the desired ibio
    f.seek(nx*ny*km*(10 - bio)*4, 1) #skips the next ibios 
f.close()

现在我需要从服务器读取文件而不下载每个文件。我正在调查paramiko,并能够连接到服务器,但我不太确定如何遍历文件并返回我想要的内容。如果您需要更多信息或需要我回答任何问题,请询问。提前谢谢。

你。。。这是因为疼痛。我建议您遵循rsync路线,编写一个在服务器上运行的脚本,提供您感兴趣的字节。您可以通过paramiko创建的文本通道与它通信。

我建议
execnet
远程运行一点Python(本地函数或模块)


无需设置。

即使是通过网络删除文件,也要比仅仅告诉机器删除自己的文件多出一个数量级。你不会这么认为的,但是……听起来很合理,我会调查的。谢谢(我会投票支持你,但我的声誉太低)你可以试着建立一个cherrypy服务器,并使用一些简单的get-paramsIf,如果我打算使用HTTP,那么我会一直使用它并支持它。我可能应该提到我是一个完全的初学者哈哈。所以,如果我在服务器上抛出我的程序,然后执行如下操作:stdin、stdout、stderr=ssh.exec_command('python reader.py'),您仍然需要在服务器上安装python。但是看起来不错。