使用python的Web抓取不适用于Amazon和Monster

我尝试使用python学习Web抓取。首先，我试图从亚马逊的网页上抓取。我试图找出最畅销的女式时尚运动鞋

我的代码：

无页面=2

def get_data(pageNo):  
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36", "Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "Upgrade-Insecure-Requests":"1"}
    r = requests.get('https://www.amazon.com/Best-Sellers-Womens-Fashion-Sneakers/zgbs/fashion/679394011'+str(pageNo)+'?ie=UTF8&pg='+str(pageNo), headers=headers)#, proxies=proxies)
    content = r.content
    soup = BeautifulSoup(content)
    print(soup)

我没有得到这部分的任何输出。然后我发现了。我认为亚马逊不可能进行网络抓取。然后我把我的源页面改为monster.com。但是没有得到输出

no_pages = 2

def get_data(pageNo):  
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36", "Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "Upgrade-Insecure-Requests":"1"}
    r = requests.get('https://www.monster.com/jobs/search/?q=Software-developer&where=Texas-City__2C-TX'+str(pageNo)+'?ie=UTF8&pg='+str(pageNo), headers=headers)#, proxies=proxies)
    content = r.content
    soup = BeautifulSoup(content)
    print(soup)

---

我怎样才能解决这个问题。谢谢。

您的代码似乎运行正常。但是，您需要调用该函数才能运行它。例如，在函数之后，编写以下内容：

    get_data(no_pages)

---

这将触发函数运行。

您的代码似乎运行正常。但是，您需要调用该函数才能运行它。例如，在函数之后，编写以下内容：

    get_data(no_pages)

---

这将触发函数运行。

添加

获取数据（无页面）

不会改变任何东西。这必须添加到函数之外。好的，它在amazon和monster中都起作用。谢谢如果是这样的话，请接受答案，这样这个问题就可以被认为得到了回答。添加

获取数据（无页面）

不会改变任何东西。这必须添加到函数之外。好的，亚马逊和monster都可以使用。谢谢如果是这样的话，请接受答案，这样这个问题就可以被认为已经回答了。