Python 如何在分布式体系结构中共享变量?

Python 如何在分布式体系结构中共享变量?,python,rabbitmq,shared-memory,distributed-computing,distributed,Python,Rabbitmq,Shared Memory,Distributed Computing,Distributed,我想找到一种在不同进程之间共享变量的方法。此外,我想放置互斥锁,以便一次只有一个进程在更改它 我相信框架并不重要,但如果它真的重要,我就使用rabbitMQ 有人能帮我吗?我对分布式计算的知识有点了解,但多线程和多处理的区别在于不能共享内存。如果您经常这样做,请注意您将为此付出高昂的处理成本,因为需要共享的每一位数据都必须在一端序列化,然后在另一端反序列化。非常遗憾,完全同意。。。如果你想仔细看看我的问题:我正在构建一个分布式网络爬虫,我必须共享访问的URL列表。你可能不会。这听起来像是一个可以

我想找到一种在不同进程之间共享变量的方法。此外,我想放置互斥锁,以便一次只有一个进程在更改它

我相信框架并不重要,但如果它真的重要,我就使用rabbitMQ


有人能帮我吗?

我对分布式计算的知识有点了解,但多线程和多处理的区别在于不能共享内存。如果您经常这样做,请注意您将为此付出高昂的处理成本,因为需要共享的每一位数据都必须在一端序列化,然后在另一端反序列化。非常遗憾,完全同意。。。如果你想仔细看看我的问题:我正在构建一个分布式网络爬虫,我必须共享访问的URL列表。你可能不会。这听起来像是一个可以使用经理-工人模式的工作。经理应决定下一步需要爬网的内容,并将任务交给工作人员,记录他们的结果(可能是到磁盘?),然后向经理回复消息说“使用URL完成”。经理随后将其添加到访问列表中,并继续。是的,也许你是对的,我将改变我的架构。