Django 如何在队列中同步添加文件?
我有一个Django服务器正在运行,它利用目录Django 如何在队列中同步添加文件?,django,python-3.x,Django,Python 3.x,我有一个Django服务器正在运行,它利用目录/PROCESSING\u DOCS/*.json中的文件。API调用会将更多文件动态添加到此文件夹。现在我需要维护一个队列,动态更新添加到该文件夹中的文件 我如何实现这一点?我什么都不知道。这里是我脑海中的一些建议: 如果您只需要记录添加的文件、处理状态等: 由于要进行大量的I/O操作,因此可以添加另一个文件(例如:命名文件\u队列)并在每行追加一个文件名。稍后,您可能会添加关于每个文件的其他详细信息(CSV样式)(如果此文件变大,则在其中搜索会
/PROCESSING\u DOCS/*.json
中的文件。API调用会将更多文件动态添加到此文件夹。现在我需要维护一个队列,动态更新添加到该文件夹中的文件
我如何实现这一点?我什么都不知道。这里是我脑海中的一些建议: 如果您只需要记录添加的文件、处理状态等:
- 由于要进行大量的I/O操作,因此可以添加另一个文件(例如:命名文件\u队列)并在每行追加一个文件名。稍后,您可能会添加关于每个文件的其他详细信息(CSV样式)(如果此文件变大,则在其中搜索会有点困难)
- 与第一个想法相关,如果文件数量不是问题,您可以为处理的每个文件创建一个文件(例如.lock文件),并可能在其中存储所有处理详细信息(这将很容易搜索)
- 如果应用程序连接到数据库,请创建一个表(例如:命名文件\u队列),并为每个文件插入一行。稍后,您可以向表中添加其他列,以存储有关每个文件的其他详细信息李>
干杯 但是我如何同步这两个任务呢?假设@time(t)我没有要处理的文件,但是@time(t1)4个文件被添加到文件中,或者csv或db这个更改是如何自动执行代码的?您可以创建一个bash脚本(请参阅:)并通过cron运行它。当然,这看起来有点像黑客,但速度更快。或者,您可以使用RabbitMQ,但这需要额外的设置和开发。