Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/329.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/visual-studio/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Python和BeautifulSoup进行Web抓取Ajax.requests-看似随机的页码返回空白_Python_Beautifulsoup - Fatal编程技术网

使用Python和BeautifulSoup进行Web抓取Ajax.requests-看似随机的页码返回空白

使用Python和BeautifulSoup进行Web抓取Ajax.requests-看似随机的页码返回空白,python,beautifulsoup,Python,Beautifulsoup,我正在用BeautifulSoup创建一个书评网站,那里有10页书评,每页30篇。我可以得到10页中的8页,但第4页和第6页似乎返回空白刮擦 下面是一个简单的演示: import pandas as pd from pandas import Series,DataFrame from bs4 import BeautifulSoup import requests import fnmatch import os url='https://www.goodreads.com/book/rev

我正在用BeautifulSoup创建一个书评网站,那里有10页书评,每页30篇。我可以得到10页中的8页,但第4页和第6页似乎返回空白刮擦

下面是一个简单的演示:

import pandas as pd
from pandas import Series,DataFrame
from bs4 import BeautifulSoup
import requests
import fnmatch
import os

url='https://www.goodreads.com/book/reviews/1202.Freakonomics?amp;page=4'

result = requests.get(url)
soup = BeautifulSoup(result.content, 'lxml')

soup.prettify()
这将返回空白。但是,用1-10中的任何其他页面替换4或6将返回完整的刮削页面


我将非常感谢您对这里可能发生的事情的任何帮助。谢谢

我似乎无法从该url端点获得有效响应。请原谅,我不熟悉html行话。如果你指的是普通的url,那么它是:如果你指的是抓取,是的,url什么也不返回,但是如果你用url=运行上面的代码,你会得到数据。希望这就是你的意思。