使用Python和BeautifulSoup进行Web抓取Ajax.requests-看似随机的页码返回空白
我正在用BeautifulSoup创建一个书评网站,那里有10页书评,每页30篇。我可以得到10页中的8页,但第4页和第6页似乎返回空白刮擦 下面是一个简单的演示:使用Python和BeautifulSoup进行Web抓取Ajax.requests-看似随机的页码返回空白,python,beautifulsoup,Python,Beautifulsoup,我正在用BeautifulSoup创建一个书评网站,那里有10页书评,每页30篇。我可以得到10页中的8页,但第4页和第6页似乎返回空白刮擦 下面是一个简单的演示: import pandas as pd from pandas import Series,DataFrame from bs4 import BeautifulSoup import requests import fnmatch import os url='https://www.goodreads.com/book/rev
import pandas as pd
from pandas import Series,DataFrame
from bs4 import BeautifulSoup
import requests
import fnmatch
import os
url='https://www.goodreads.com/book/reviews/1202.Freakonomics?amp;page=4'
result = requests.get(url)
soup = BeautifulSoup(result.content, 'lxml')
soup.prettify()
这将返回空白。但是,用1-10中的任何其他页面替换4或6将返回完整的刮削页面
我将非常感谢您对这里可能发生的事情的任何帮助。谢谢我似乎无法从该url端点获得有效响应。请原谅,我不熟悉html行话。如果你指的是普通的url,那么它是:如果你指的是抓取,是的,url什么也不返回,但是如果你用url=运行上面的代码,你会得到数据。希望这就是你的意思。