Python BeautifulSoup刮取数据并保存在文本文件中

Python BeautifulSoup刮取数据并保存在文本文件中,python,beautifulsoup,Python,Beautifulsoup,我试图创建表刮,我写了这段代码 Bat我在文本中保存数据时遇到问题,10页后刮板会保存相同的数据 这就是问题所在的代码: for num in range(1,500): print num try: resp = '' resp = opener.open("http://login.site.com/view.asp?view&PAGE="+str(num)) soup = BeautifulSoup(resp.read

我试图创建表刮,我写了这段代码 Bat我在文本中保存数据时遇到问题,10页后刮板会保存相同的数据

这就是问题所在的代码:

for num in range(1,500):
    print num
    try:
        resp = ''
        resp = opener.open("http://login.site.com/view.asp?view&PAGE="+str(num))
        soup = BeautifulSoup(resp.read())
        for tr in soup.find_all('tr')[3:]:
                tds = tr.find_all('td')
                outfile.write (tds[2].text.encode('utf-8','replace') + ',' +  tds[0].text.encode('utf-8','replace') + ',' + tds[1].text.encode('utf-8','replace') + '\n')

                pass
    except:
        pass

10页之后,scapper会在接下来的几页中保存相同的数据。

如果手动输入页码,您确定这不仅仅是10页的结果吗?对我来说,url总是提供相同的内容…不,我有这个带有regex和work的脚本,页面不提供相同的内容!