使用AmazonSpot实例(或其他方式)从Java代码发出多个HTTP请求

使用AmazonSpot实例(或其他方式)从Java代码发出多个HTTP请求,java,http,amazon-ec2,Java,Http,Amazon Ec2,我需要从一个Java代码向GoogleScholar发出多个(超过100个)HTTP请求来收集数据。然而,该网站在大约20次请求后阻止了这种情况,并生成了验证码。我听说“Amazon Spot Instances”允许请求系统的IP地址定期更改,从而通过确保请求不来自单个IP来避免出现captcha。有谁能帮我解决这个问题,并提供更多详细信息吗?(除Amazon EC2 spot实例之外的其他方法也可以)定期更改IP地址并不是Amazon环境中spot实例的独特功能(在按需和保留实例中也可以使用

我需要从一个Java代码向GoogleScholar发出多个(超过100个)HTTP请求来收集数据。然而,该网站在大约20次请求后阻止了这种情况,并生成了验证码。我听说“Amazon Spot Instances”允许请求系统的IP地址定期更改,从而通过确保请求不来自单个IP来避免出现captcha。有谁能帮我解决这个问题,并提供更多详细信息吗?(除Amazon EC2 spot实例之外的其他方法也可以)

定期更改IP地址并不是Amazon环境中spot实例的独特功能(在按需和保留实例中也可以使用),Amazon CLI将允许您分配,附加、卸载和释放IP地址

Amazon的SDK将允许您调用Spot实例的创建并附加一个IP地址,因为后者是一个很好的起点。它得到了广泛语言的支持

对于Java,我想了解一下,这是一个强大的API

根据您在AWS环境中的经验,有一些额外的东西需要记住,特别是在Spot实例中。spot可以在任何时候终止(字面上是中间查询),因此您应该将应用程序构建为无状态,一个好的解决方案是将结果发送到S3 bucket中。它还有一个额外的好处,即能够一次部署多个实例,并拥有一个数据收集端点