Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 如何在python中使用不同的ip地址打开同一个网站_Python 2.7_Selenium Webdriver_Web Scraping - Fatal编程技术网

Python 2.7 如何在python中使用不同的ip地址打开同一个网站

Python 2.7 如何在python中使用不同的ip地址打开同一个网站,python-2.7,selenium-webdriver,web-scraping,Python 2.7,Selenium Webdriver,Web Scraping,我必须用不同的ip地址打开同一个网站,以便使用python进行Web垃圾处理。我没有关于网络垃圾的详细知识。我在下面试过,但我不明白。这个的详细代码是什么 def connectToSiteFunction(ip): # your code to bind ip (if it's a source) or connect to it (if it's a dst) # and do your thing here def connectAndWait():

我必须用不同的ip地址打开同一个网站,以便使用python进行Web垃圾处理。我没有关于网络垃圾的详细知识。我在下面试过,但我不明白。这个的详细代码是什么

def connectToSiteFunction(ip):
        # your code to bind ip (if it's a source) or connect to it (if it's a dst) 
        # and do your thing here

def connectAndWait():
    for ip in ips:
        t = threading.Thread(target=connectToSiteFunction, args=(ip,))
        yield t
        t.start()
        os.sleep(15)

threads = [t for t in connectAndWait()]
for t in threads:
    t.join()

提前感谢

您的标题和问题似乎不一致:如果您知道系统的地址,您可以使用以下几种主要方法之一:

  • 请求-这是一个很酷的库系统,使得web请求变得很简单。那页上有很多例子
  • URLLib2-如果我不想包含第三方模块,我可能会使用这种方法。在编码URL时需要小心一点(使用urllib转义字符等) 至于网页抓取(一个可怕的名字——称之为HTML解析!),看看BeautifulSoup()。这仅在使用上述方法之一检索数据后才有用

    你还需要意识到,很多网站都知道上下文——因此,你在浏览器中看到的并不是使用这些方法得到的结果——你可能需要按正确的顺序发出大量请求(例如登录)和维护cookie等。但这完全取决于你打什么电话,而你在问题中没有具体说明