Python FTP按日期获取最新文件
我正在使用ftplib连接到ftp站点。我想得到最近上传的文件并下载它。我可以连接到ftp服务器并列出文件,我还将它们放在一个列表中,并转换了Python FTP按日期获取最新文件,python,linux,ftp,ftplib,Python,Linux,Ftp,Ftplib,我正在使用ftplib连接到ftp站点。我想得到最近上传的文件并下载它。我可以连接到ftp服务器并列出文件,我还将它们放在一个列表中,并转换了日期字段。是否有任何功能/模块可以获取最近的日期并从列表中输出整行数据 #!/usr/bin/env python import ftplib import os import socket import sys HOST = 'test' def main(): try: f = ftplib.FTP(HOST)
日期字段。是否有任何功能/模块可以获取最近的日期并从列表中输出整行数据
#!/usr/bin/env python
import ftplib
import os
import socket
import sys
HOST = 'test'
def main():
try:
f = ftplib.FTP(HOST)
except (socket.error, socket.gaierror), e:
print 'cannot reach to %s' % HOST
return
print "Connect to ftp server"
try:
f.login('anonymous','al@ge.com')
except ftplib.error_perm:
print 'cannot login anonymously'
f.quit()
return
print "logged on to the ftp server"
data = []
f.dir(data.append)
for line in data:
datestr = ' '.join(line.split()[0:2])
orig-date = time.strptime(datestr, '%d-%m-%y %H:%M%p')
f.quit()
return
if __name__ == '__main__':
main()
已解决:
data = []
f.dir(data.append)
datelist = []
filelist = []
for line in data:
col = line.split()
datestr = ' '.join(line.split()[0:2])
date = time.strptime(datestr, '%m-%d-%y %H:%M%p')
datelist.append(date)
filelist.append(col[3])
combo = zip(datelist,filelist)
who = dict(combo)
for key in sorted(who.iterkeys(), reverse=True):
print "%s: %s" % (key,who[key])
filename = who[key]
print "file to download is %s" % filename
try:
f.retrbinary('RETR %s' % filename, open(filename, 'wb').write)
except ftplib.err_perm:
print "Error: cannot read file %s" % filename
os.unlink(filename)
else:
print "***Downloaded*** %s " % filename
return
f.quit()
return
一个问题是,是否可以从字典中检索第一个元素?我在这里所做的是for循环只运行一次并退出,从而给我第一个排序值,这很好,但我认为这样做不是一个好的做法。如果您在列表中有所有的日期(将给您这个),那么您所要做的就是对列表进行排序
下面是一个例子:
#!/usr/bin/python
import time
dates = [
"Jan 16 18:35 2012",
"Aug 16 21:14 2012",
"Dec 05 22:27 2012",
"Jan 22 19:42 2012",
"Jan 24 00:49 2012",
"Dec 15 22:41 2012",
"Dec 13 01:41 2012",
"Dec 24 01:23 2012",
"Jan 21 00:35 2012",
"Jan 16 18:35 2012",
]
def main():
datelist = []
for date in dates:
date = time.strptime(date, '%b %d %H:%M %Y')
datelist.append(date)
print datelist
datelist.sort()
print datelist
if __name__ == '__main__':
main()
我不知道你的ftp是怎么回事,但你的例子对我来说不起作用。我更改了一些与日期排序部分相关的行:
import sys
from ftplib import FTP
import os
import socket
import time
# Connects to the ftp
ftp = FTP(ftpHost)
ftp.login(yourUserName,yourPassword)
data = []
datelist = []
filelist = []
ftp.dir(data.append)
for line in data:
col = line.split()
datestr = ' '.join(line.split()[5:8])
date = time.strptime(datestr, '%b %d %H:%M')
datelist.append(date)
filelist.append(col[8])
combo = zip(datelist,filelist)
who = dict(combo)
for key in sorted(who.iterkeys(), reverse=True):
print "%s: %s" % (key,who[key])
filename = who[key]
print "file to download is %s" % filename
try:
ftp.retrbinary('RETR %s' % filename, open(filename, 'wb').write)
except ftplib.err_perm:
print "Error: cannot read file %s" % filename
os.unlink(filename)
else:
print "***Downloaded*** %s " % filename
ftp.quit()
为什么不使用下一个目录选项
ftp.dir('-t',data.append)
使用此选项,文件列表按时间顺序从最新到最旧排列。然后只需检索列表中的第一个文件即可下载。对于那些正在寻找在文件夹中查找最新文件的完整解决方案的人:
MLSD
如果您的FTP服务器支持MLSD
命令,则解决方案很简单:
entries = list(ftp.mlsd())
entries.sort(key = lambda entry: entry[1]['modify'], reverse = True)
latest_name = entries[0][0]
print(latest_name)
列表
如果需要依赖过时的LIST
命令,则必须解析它返回的专有列表
公共*nix列表类似于:
-rw-r--r--1用户组4467 2018年3月27日file1.zip
-rw-r--r--1用户组124529 Jun 18 15:31 file2.zip
对于这样的列表,此代码将执行以下操作:
from dateutil import parser
# ...
lines = []
ftp.dir("", lines.append)
latest_time = None
latest_name = None
for line in lines:
tokens = line.split(maxsplit = 9)
time_str = tokens[5] + " " + tokens[6] + " " + tokens[7]
time = parser.parse(time_str)
if (latest_time is None) or (time > latest_time):
latest_name = tokens[8]
latest_time = time
print(latest_name)
这是一种相当脆弱的做法
MDTM
一种更可靠但效率更低的方法是使用MDTM
命令检索单个文件/文件夹的时间戳:
names = ftp.nlst()
latest_time = None
latest_name = None
for name in names:
time = ftp.voidcmd("MDTM " + name)
if (latest_time is None) or (time > latest_time):
latest_name = name
latest_time = time
print(latest_name)
有关代码的替代版本,请参阅
非标准t型开关
一些FTP服务器支持专用的非标准-t
开关,用于NLST
(或LIST
)命令
看
下载找到的文件
无论您使用何种方法,一旦您拥有最新的\u名称
,您就可以将其作为任何其他文件下载:
file = open(latest_name, 'wb')
ftp.retrbinary('RETR '+ latest_name, file.write)
另见
与
NLST
,如Martin Prikryl的回答所示,
您应该使用sorted
方法:
ftp = FTP(host="127.0.0.1", user="u",passwd="p")
ftp.cwd("/data")
file_name = sorted(ftp.nlst(), key=lambda x: ftp.voidcmd(f"MDTM {x}"))[-1]
我创建了另一个列表,见更新,似乎字典排序有问题。我知道你实际上在回答OP的问题。但一般来说,如果OP只查找一个最新的文件,那么首先构建日期列表是一种过火和内存浪费。只需在第一个循环中找到最新的文件。此外,还有其他更有效的解决方案。请参阅。是否可以下载添加的最新.csv文件,而不仅仅是最新的文件?FTP以明文形式发送密码。SFTP更安全(FTP over SSH,pip安装),但与FTPS(FTP over SSL/TLS)一样简单,只需使用而不是ftplib.FTP()
。-t
开关是专有的(实际上违反了FTP规范)。虽然它得到了相当广泛的支持,但它并不具有普遍性。有关详细信息的链接,请参阅。很好的短代码。它也相当可靠。但正如前面所说,这是非常低效的,特别是如果文件夹中有很多文件。
ftp = FTP(host="127.0.0.1", user="u",passwd="p")
ftp.cwd("/data")
file_name = sorted(ftp.nlst(), key=lambda x: ftp.voidcmd(f"MDTM {x}"))[-1]