Python 无法刮取亚马逊订单页面
我目前正在做一个项目,它将获得我在amazon上订购的所有订单,并对它们进行分类,然后将它们写入excel文件。问题是,当我尝试使用Python 无法刮取亚马逊订单页面,python,web-scraping,beautifulsoup,python-requests,Python,Web Scraping,Beautifulsoup,Python Requests,我目前正在做一个项目,它将获得我在amazon上订购的所有订单,并对它们进行分类,然后将它们写入excel文件。问题是,当我尝试使用bs4刮取页面时,结果是None 我以前做过一个类似的项目,它将在amazon上搜索您想要搜索的产品,然后将有关该产品的所有数据保存在json文件中,如name、price、review。 这非常有效 但这似乎不起作用 这是密码- 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW
bs4
刮取页面时,结果是None
我以前做过一个类似的项目,它将在amazon上搜索您想要搜索的产品,然后将有关该产品的所有数据保存在json文件中,如name
、price
、review
。
这非常有效
但这似乎不起作用
这是密码-
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}
link = 'https://www.amazon.in/gp/your-account/order-history?opt=ab&digitalOrders=1&unifiedOrders=1&returnTo=&orderFilter=year-2020'
data = requests.get(link, headers = headers)
soup = BeautifulSoup(data.text, 'lxml')
product = soup.find('div', class_="a-box-group a-spacing-base order")
print(product)
我是一个初学者,但我认为这是因为我需要登录以获取详细信息,但我的密码已经保存在我的浏览器中
感谢您的帮助。
谢谢参考GitHub项目
与大多数知名公司一样,亚马逊不允许简单的刮取,需要某种形式的认证。我不认为亚马逊会让每个人在没有认证的情况下刮取任何页面。我相信对于这些情况有一个官方的API,当您运行python脚本时,您不能期望浏览器中存储的凭据被使用。为此,您需要使用类似硒的东西,即使启用了2-FA,也很难工作。谢谢,但看起来它是为卖家而不是客户制造的,您确定吗?你以前用过吗?