Web scraping 刮削位置使用美丽的汤

我对beautifulsoup非常陌生，我已经做了大量的在线视频，现在我正在冒险进行我的第一个项目

---

不管怎么说，我的目标是要找到目标的位置。所有位置都属于“clearfix大型容器”类别。我想知道如何从所有“地址集”中提取地址信息。“address sec”是“clearfix大型容器”下的类。如果有人有一个视频，去内联或在建议，这将是伟大的

您看到的数据是从外部源加载的，因此

beautifulsoup

看不到它。但您可以使用

requests

模块模拟Ajax请求来加载它：

导入json
导入请求
从bs4导入BeautifulSoup
url=”https://bopis.mastermindtoys.com/ajax/getstorelocation.php"
标题={
“推荐人”：https://www.mastermindtoys.com/",
}
有效载荷={
“doAction”：“getNearStoreData”，
“纬度”：“，
“经度”：“，
“flagDisplayFirstRecord”：“Y”，
“ShoppifyCustomerID”：“，
“SelectedStoreInOkies”：“，
}
data=requests.post（url，headers=headers，data=payload）.json（）
#取消对此的注释以打印所有数据：
#打印（json.dumps（数据，缩进=4））
对于枚举中的i，d（数据[“详细信息”]，1）：
印刷品(
{:您看到的数据是从外部源加载的，因此
beautifulsoup
看不到它。但是您可以使用
请求
模块模拟Ajax请求来加载它：

导入json
导入请求
从bs4导入BeautifulSoup
url=”https://bopis.mastermindtoys.com/ajax/getstorelocation.php"
标题={
“推荐人”：https://www.mastermindtoys.com/",
}
有效载荷={
“doAction”：“getNearStoreData”，
“纬度”：“，
“经度”：“，
“flagDisplayFirstRecord”：“Y”，
“ShoppifyCustomerID”：“，
“SelectedStoreInOkies”：“，
}
data=requests.post（url，headers=headers，data=payload）.json（）
#取消对此的注释以打印所有数据：
#打印（json.dumps（数据，缩进=4））
对于枚举中的i，d（数据[“详细信息”]，1）：
印刷品(
{：非常感谢，更好的是，我发现了如何通过添加更多的格式和id项来获取更详细的信息。另一个问题，你是如何找到url的（“）在你的代码中使用？我是否检查页面并进入网络或其他工具。我将尝试将相同的想法应用到。在哪里，似乎只是玩url和有效负载就可以完成相同的任务。如果不清楚，请浓缩上面的信息：如何计算url:““因为这不会出现在正常的搜索栏上。其次，有效载荷是如何决定的？如果问题太大，我会喜欢视频或超浓缩速度跑步。”。Thanks@John_Muir在Firefox开发者工具中打开“网络”选项卡时（Chrome也有类似的功能），这是页面正在执行的所有请求。其中一个请求是
getstorelocation.php
URL。您可以单击它来查看发送到服务器的标题/参数。好的，我知道了！现在如何将输出作为excel？@John_Muir您可以使用
CSV
模块或
pandas
模块将数据保存到CSV非常感谢你，更棒的是，我发现了如何通过添加更多的格式和id项来获取更详细的信息在你的代码中使用？我是否检查页面并进入网络或其他工具。我将尝试将相同的想法应用到。在哪里，似乎只是玩url和有效负载就可以完成相同的任务。如果不清楚，请浓缩上面的信息：如何计算url:““因为这不会出现在正常的搜索栏上。其次，有效载荷是如何决定的？如果问题太大，我会喜欢视频或超浓缩速度跑步。”。Thanks@John_Muir在Firefox开发者工具中打开“网络”选项卡时（Chrome也有类似的功能），页面正在执行所有请求。其中一个请求是
getstorelocation.php
URL。您可以单击它来查看发送到服务器的标题/参数。好的，我知道了！现在如何将输出作为excel？@John_Muir您可以将数据保存到CSV…使用
CSV
模块或
pandas