Python 使用BeautifulSoup进行web抓取时出现属性错误
我正在尝试使用BeautifulSoup和Python从“etherscan.io”抓取数据。以下是网站: 我使用一个循环来抓取多个网页,但我只能在前30页获取数据。第31个有如下错误Python 使用BeautifulSoup进行web抓取时出现属性错误,python,web,web-scraping,beautifulsoup,etherscan,Python,Web,Web Scraping,Beautifulsoup,Etherscan,我正在尝试使用BeautifulSoup和Python从“etherscan.io”抓取数据。以下是网站: 我使用一个循环来抓取多个网页,但我只能在前30页获取数据。第31个有如下错误 我检查了那个网页,发现它仍然有和其他网页一样的标签和元素。请帮助我。这是因为Cloudflare,我在循环中添加了以下内容: if page%30 == 0: time.sleep(20) 显然,每30页等待20秒就足够了,不会被标记为机器人。无法复制。运行您的代码(唯一的更改是使用请求库)浏览了全部
我检查了那个网页,发现它仍然有和其他网页一样的标签和元素。请帮助我。这是因为Cloudflare,我在循环中添加了以下内容:
if page%30 == 0:
time.sleep(20)
显然,每30页等待20秒就足够了,不会被标记为机器人。无法复制。运行您的代码(唯一的更改是使用
请求
库)浏览了全部50页。@AndrejKesely好的,让我试试。谢谢
if page%30 == 0:
time.sleep(20)