Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/windows/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 使用BeautifulSoup进行web抓取时出现属性错误_Python_Web_Web Scraping_Beautifulsoup_Etherscan - Fatal编程技术网

Python 使用BeautifulSoup进行web抓取时出现属性错误

Python 使用BeautifulSoup进行web抓取时出现属性错误,python,web,web-scraping,beautifulsoup,etherscan,Python,Web,Web Scraping,Beautifulsoup,Etherscan,我正在尝试使用BeautifulSoup和Python从“etherscan.io”抓取数据。以下是网站: 我使用一个循环来抓取多个网页,但我只能在前30页获取数据。第31个有如下错误 我检查了那个网页,发现它仍然有和其他网页一样的标签和元素。请帮助我。这是因为Cloudflare,我在循环中添加了以下内容: if page%30 == 0: time.sleep(20) 显然,每30页等待20秒就足够了,不会被标记为机器人。无法复制。运行您的代码(唯一的更改是使用请求库)浏览了全部

我正在尝试使用BeautifulSoup和Python从“etherscan.io”抓取数据。以下是网站:

我使用一个循环来抓取多个网页,但我只能在前30页获取数据。第31个有如下错误


我检查了那个网页,发现它仍然有和其他网页一样的标签和元素。请帮助我。

这是因为Cloudflare,我在循环中添加了以下内容:

if page%30 == 0:
    time.sleep(20)

显然,每30页等待20秒就足够了,不会被标记为机器人。

无法复制。运行您的代码(唯一的更改是使用
请求
库)浏览了全部50页。@AndrejKesely好的,让我试试。谢谢
if page%30 == 0:
    time.sleep(20)