Python 使用asyncio监视文件
我正试图找出一种好的方法来监视文件的外观。这就是我到目前为止的想法:Python 使用asyncio监视文件,python,python-3.x,python-asyncio,Python,Python 3.x,Python Asyncio,我正试图找出一种好的方法来监视文件的外观。这就是我到目前为止的想法: #!/usr/bin/env python3 # -*- coding: utf-8 -*- """Watches for the appearance of a file.""" import argparse import asyncio import os.path @asyncio.coroutine def watch_for_file(file_path, interval=1): while Tr
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""Watches for the appearance of a file."""
import argparse
import asyncio
import os.path
@asyncio.coroutine
def watch_for_file(file_path, interval=1):
while True:
if not os.path.exists(file_path):
print("{} not found yet.".format(file_path))
yield from asyncio.sleep(interval)
else:
print("{} found!".format(file_path))
break
def make_cli_parser():
cli_parser = argparse.ArgumentParser(description=__doc__)
cli_parser.add_argument('file_path')
return cli_parser
def main(argv=None):
cli_parser = make_cli_parser()
args = cli_parser.parse_args(argv)
loop = asyncio.get_event_loop()
loop.run_until_complete(watch_for_file(args.file_path))
if __name__ == '__main__':
main()
我将其保存为watch\u for\u file.py
,并可以使用
python3 watch_for_file.py testfile
在另一个shell会话中,我发布
touch testfile
结束循环
有没有比使用这个无限循环和asyncio.sleep()产生的
更优雅的解决方案?好吧,有更好的、特定于平台的方法在创建文件时得到通知。Gerrat在他的评论中链接到了一个用于Windows的,并且可以用于Linux。这些特定于平台的方法可能可以插入到asyncio
,但最终您将编写一大堆代码,使其以平台无关的方式工作,这可能不值得只检查单个文件的外观。但是,如果您还需要更复杂的文件系统监视,那么它可能值得一试。看起来可以调整pyinotify
来添加其Notifier
类的子类,该类可以插入asyncio
事件循环(例如,tornado
和asyncore
已经有类了)
对于您的简单用例,我认为您的无限循环轮询方法很好,但是您也可以使用事件循环安排回调,如果您愿意的话:
def watch_for_file(file_path, interval=1, loop=None):
if not loop: loop = asyncio.get_event_loop()
if not os.path.exists(file_path):
print("{} not found yet.".format(file_path))
loop.call_later(interval, watch_for_file, file_path, interval, loop)
else:
print("{} found!".format(file_path))
loop.stop()
def main(argv=None):
cli_parser = make_cli_parser()
args = cli_parser.parse_args(argv)
loop = asyncio.get_event_loop()
loop.call_soon(watch_for_file, args.file_path)
loop.run_forever()
不过,我不确定这是否比无限循环更优雅
编辑:
为了好玩,我使用pyinotify
编写了一个解决方案:
import pyinotify
import asyncio
import argparse
import os.path
class AsyncioNotifier(pyinotify.Notifier):
"""
Notifier subclass that plugs into the asyncio event loop.
"""
def __init__(self, watch_manager, loop, callback=None,
default_proc_fun=None, read_freq=0, threshold=0, timeout=None):
self.loop = loop
self.handle_read_callback = callback
pyinotify.Notifier.__init__(self, watch_manager, default_proc_fun, read_freq,
threshold, timeout)
loop.add_reader(self._fd, self.handle_read)
def handle_read(self, *args, **kwargs):
self.read_events()
self.process_events()
if self.handle_read_callback is not None:
self.handle_read_callback(self)
class EventHandler(pyinotify.ProcessEvent):
def my_init(self, file=None, loop=None):
if not file:
raise ValueError("file keyword argument must be provided")
self.loop = loop if loop else asyncio.get_event_loop()
self.filename = file
def process_IN_CREATE(self, event):
print("Creating:", event.pathname)
if os.path.basename(event.pathname) == self.filename:
print("Found it!")
self.loop.stop()
def make_cli_parser():
cli_parser = argparse.ArgumentParser(description=__doc__)
cli_parser.add_argument('file_path')
return cli_parser
def main(argv=None):
cli_parser = make_cli_parser()
args = cli_parser.parse_args(argv)
loop = asyncio.get_event_loop()
# set up pyinotify stuff
wm = pyinotify.WatchManager()
mask = pyinotify.IN_CREATE # watched events
dir_, filename = os.path.split(args.file_path)
if not dir_:
dir_ = "."
wm.add_watch(dir_, mask)
handler = EventHandler(file=filename, loop=loop)
notifier = pyinotify.AsyncioNotifier(wm, loop, default_proc_fun=handler)
loop.run_forever()
if __name__ == '__main__':
main()
顺便说一句,Butter支持异步IO开箱即用
import asyncio
from butter.inotify import IN_ALL_EVENTS
from butter.asyncio.inotify import Inotify_async
@asyncio.coroutine
def watcher(loop):
inotify = Inotify_async(loop=loop)
print(inotify)
wd = inotify.watch('/tmp', IN_ALL_EVENTS)
for i in range(5):
event = yield from inotify.get_event()
print(event)
inotify.ignore(wd)
print('done')
event = yield from inotify.get_event()
print(event)
inotify.close()
print(inotify)
loop = asyncio.get_event_loop()
task = loop.create_task(watcher(loop))
loop.run_until_complete(task)
黄油真的很酷。另一种替代方法类似,但只实现inotify
async def main():
with Inotify(blocking=False) as n:
n.add_watch('.', Mask.CREATE | Mask.DELETE | Mask.MOVE)
async for evt in n:
print(evt)
如果您还没有开始使用asyncio,您可以寻找其他可能的解决方案。asyncio.coroutine
拼写错误。此外,根据,不应实例化任务
,而应使用async()
或BaseEventLoop。请改为创建任务()
。拼写已修复,谢谢。好的,使用loop.create_task(coro)
的更好方法,但是只要task(coro,loop=loop)
也可以。无论如何,已经修复。这一个目前与Python 3.7不兼容抱歉,什么不兼容?作为对此的更新,我提交了一个补丁,将asyncionotifyer
添加到pyinotify
,并被接受。因此,未来的版本应该内置这种支持。