RabbitMQ、PHP、Python

RabbitMQ、PHP、Python,php,python,linux,rabbitmq,Php,Python,Linux,Rabbitmq,我被困住了,需要一个建议 我有一个PHP脚本,每小时生成超过100万封电子邮件。在当前设置中,这些电子邮件被放入SSD驱动器文件夹,python脚本监视该驱动器,循环每个文件,并通过SMTP协议将其发送到本地MTA。通过此设置,我每分钟可以处理约9000封电子邮件。正如你所看到的,输入和输出之间存在巨大的差距 我正在考虑将消息保存到RabbitMQ,然后从Python工作人员中提取这些消息,然后通过SMTP发送到本地MTA 你觉得怎么样?这是一个良好的设置,还是您对这样一个高容量活动系统有任何其

我被困住了,需要一个建议

我有一个PHP脚本,每小时生成超过100万封电子邮件。在当前设置中,这些电子邮件被放入SSD驱动器文件夹,python脚本监视该驱动器,循环每个文件,并通过SMTP协议将其发送到本地MTA。通过此设置,我每分钟可以处理约9000封电子邮件。正如你所看到的,输入和输出之间存在巨大的差距

我正在考虑将消息保存到RabbitMQ,然后从Python工作人员中提取这些消息,然后通过SMTP发送到本地MTA

你觉得怎么样?这是一个良好的设置,还是您对这样一个高容量活动系统有任何其他建议/建议

谢谢你的帮助


M.

在我看来,最大的问题是存储。写一个文件是相当昂贵的。RabbitMQ可以是一个想法,也可以是其中的一些:AWS池、芹菜、Redis。所以,你说如果我摆脱SSD IO操作并将电子邮件传递给RabbitMQ,它会更快,对吧?对,对我来说是的。将“飞行”的东西写入文件是没有意义的。只要做一个好的记录者来跟踪错误等等。谢谢,我将尝试RabbitMQ并更新这篇关于我的结果的帖子。速度来自这样一个事实,RabbitMQ将消息(在本例中是您的电子邮件)保存在内存中。另一个优点是,您可以轻松地应用任意数量的工作人员,而不必担心并发访问等问题。我想这是一个好主意,我期待着后续的工作。