Django 如何在队列中同步添加文件?

Django 如何在队列中同步添加文件?,django,python-3.x,Django,Python 3.x,我有一个Django服务器正在运行,它利用目录/PROCESSING\u DOCS/*.json中的文件。API调用会将更多文件动态添加到此文件夹。现在我需要维护一个队列,动态更新添加到该文件夹中的文件 我如何实现这一点?我什么都不知道。这里是我脑海中的一些建议: 如果您只需要记录添加的文件、处理状态等: 由于要进行大量的I/O操作,因此可以添加另一个文件(例如:命名文件\u队列)并在每行追加一个文件名。稍后,您可能会添加关于每个文件的其他详细信息(CSV样式)(如果此文件变大,则在其中搜索会

我有一个Django服务器正在运行,它利用目录
/PROCESSING\u DOCS/*.json
中的文件。API调用会将更多文件动态添加到此文件夹。现在我需要维护一个队列,动态更新添加到该文件夹中的文件


我如何实现这一点?我什么都不知道。

这里是我脑海中的一些建议:

如果您只需要记录添加的文件、处理状态等:

  • 由于要进行大量的I/O操作,因此可以添加另一个文件(例如:命名文件\u队列)并在每行追加一个文件名。稍后,您可能会添加关于每个文件的其他详细信息(CSV样式)(如果此文件变大,则在其中搜索会有点困难)

  • 与第一个想法相关,如果文件数量不是问题,您可以为处理的每个文件创建一个文件(例如.lock文件),并可能在其中存储所有处理详细信息(这将很容易搜索)

  • 如果应用程序连接到数据库,请创建一个表(例如:命名文件\u队列),并为每个文件插入一行。稍后,您可以向表中添加其他列,以存储有关每个文件的其他详细信息
如果您正在寻找队列管理器,有几种解决方案,只需谷歌搜索一下“python队列”。我个人用过兔子

希望这有帮助,
干杯

但是我如何同步这两个任务呢?假设@time(t)我没有要处理的文件,但是@time(t1)4个文件被添加到文件中,或者csv或db这个更改是如何自动执行代码的?您可以创建一个bash脚本(请参阅:)并通过cron运行它。当然,这看起来有点像黑客,但速度更快。或者,您可以使用RabbitMQ,但这需要额外的设置和开发。