Python 10节点群集上的并发或并行请求

Python 10节点群集上的并发或并行请求,python,multithreading,concurrency,Python,Multithreading,Concurrency,我编写了一个包含200个并发线程的简单脚本,用于发出http请求并处理结果。我需要处理大约50000000个请求。 脚本是对建议的“无扭曲解决方案”的简单修改(第一个回复) 如果我想在一个10节点的AWS集群上运行它,我如何并行化它? 如果我只是将脚本复制到一个节点上并运行它,会发生什么?与本地计算机上的相同 作为一个新手,我需要一个起点。谢谢 在AWS上,您可以使用弹性负载平衡器(ELB)。您可以手动或在自动缩放组中设置所有内容。无论哪种方式,您的X(X=10:D)实例都将连接到ELB。您需要

我编写了一个包含200个并发线程的简单脚本,用于发出http请求并处理结果。我需要处理大约50000000个请求。 脚本是对建议的“无扭曲解决方案”的简单修改(第一个回复)

如果我想在一个10节点的AWS集群上运行它,我如何并行化它? 如果我只是将脚本复制到一个节点上并运行它,会发生什么?与本地计算机上的相同


作为一个新手,我需要一个起点。谢谢

在AWS上,您可以使用弹性负载平衡器(ELB)。您可以手动或在自动缩放组中设置所有内容。无论哪种方式,您的X(X=10:D)实例都将连接到ELB。您需要正确地设置ELB运行状况检查,以便它看到实例运行状况良好,并为所有实例提供流量服务。 如果完成此操作,则需要将并发请求发送到ELB端点。如果需要,也值得检查粘性会话,否则会导致错误结果,比如将所有流量发送到一个实例,因为所有请求的源都是相同的