Python 从列表和字典中抓取网页

我一直在尝试使用python对网站进行web抓取。我想从标签上抓取数据，但我不知道怎么做。里面有两个列表，然后好像有一本字典

import requests
from bs4 import BeautifulSoup

page = requests.get('https://www.daraz.pk/smartphones/nokia/?spm=a2a0e.searchlistcategory.card.2.323e5fc3B8mWd8&from'
                    '=onesearch_category_3')
# print(page.text)
soup = BeautifulSoup(page.text, 'html.parser')
# print(soup)
if "priceCurrency":
    phone = soup.find_all(type="application/ld+json")

print(phone[1])

---

这是我的代码，这给了我标签。我只想从中刮取特定元素。

对于bs4 4.7.1，您可以使用：contains以所需的脚本标记为目标（否则使用

soup.find_all（type=“application/ld+json”）[1]

），或者循环每个

脚本
标记，然后检查
脚本中是否有“priceCurrency”。文本：
。当前设置将始终返回
True

从标记中提取.text时，您可以使用json库解析json。最初的返回是一个字典。键“itemListElement”返回一组提供（字典）。您可以循环该列表并按键访问每个内部字典中的项
'offers'
返回一个字典，因此您需要通过键再次访问该字典中的项目

import requests, json
from bs4 import BeautifulSoup

page = requests.get('https://www.daraz.pk/smartphones/nokia/?spm=a2a0e.searchlistcategory.card.2.323e5fc3B8mWd8&from=onesearch_category_3')
soup = BeautifulSoup(page.text, 'html.parser')
phones = soup.select_one('[type="application/ld+json"]:contains(priceCurrency)')
data = json.loads(phones.text)

for offer in data['itemListElement']:
    print('item name : ' + offer['name'])
    print('item price : ' + offer['offers']['priceCurrency'] + str(offer['offers']['price'])) #etc

某个页面上手机的所有数据都位于json文件中。我认为这比使用beautifulsoup更快，但我不确定。除了名称和价格之外，还有很多信息，但这就是我放在数据框中供您查看的内容。查看代码中的url以查看所有信息

代码
导入请求
作为pd进口熊猫
list_phones=pd.DataFrame（）
对于范围（1，5）中的页数：#要搜索的页数
json_page=requests.get（'https://www.daraz.pk/smartphones/nokia/?ajax=true&page='+str（page_num））.json（）
对于json_页面['mods']['listItems']中的手机：
temp_df=pd.DataFrame（[[phone['name'，phone['price']]，columns=['name'，'price']））
list\u phones=list\u phones.append（temp\u df，sort=False）。reset\u index（drop=True）
打印（列出电话）

输出
非常感谢。非常地我已经试了3天了。我想从这个网站上删除多个页面。我使用for循环来更改URL中的页码，但每次它都给我相同的数据（来自第一页的数据）。还有其他方法吗？嗨，你应该提出一个新问题。我回答了提出的问题。Thnx bro…这真的很有帮助
                                                  Name     Price
0          150 - Dual Sim - Camera - Card Slot - White   5050.00
1                   Nokia 105 (2019 )- Dual sim - 1.77   3000.00
2    Nokia 210 - 2.4" - 16MB RAM- Dual SIM -Camera ...   5424.00
3          150 - Dual Sim - Camera - Card Slot - White   4999.00
4    New Nokia 106 2018 Dual Sim High Quality Keypa...   3140.00
5                                       105 Nokia 2019   2999.00
6    Nokia 3310 Mobile Phone - 2.4" QVGA Display - ...   9999.00
7    Nokia  105 2019 1.7 Inch Display 2000 Contact ...   2990.00
8                3310 - Dual Sim - 2.4 Inch LCD - Grey   8200.00
9         130 - 2017 - Dual Sim - Camera - Memory Card   3999.00
10   Nokia 6.1 Plus 4Gb 64Gb Black original (advanc...     26600
11                N 1 1Gb-8Gb - 4.5 Inches - Dark Blue   9500.00
12                      Nokia mobile 105 100% original   1899.00
13         150 - Dual Sim - Camera - Card Slot - Black   4999.00
14                                      nokia 130 2017   3895.00
15                                           Nokia 150   5099.00
16      Nokia 106 - 2018 - 1.8" - Dual Sim - Dark Grey   3098.00
17                       105 - 2017 - Dual Sim - Black   3250.00
18                                           Nokia 210   5450.00
19                 Nokia 105 - Dual sim - 1.77” - 2019   3149.00
20               105 - Dual sim - 1.77” - 2019 - Black   3049.00
21                        105 - 2017 - Dual Sim - Blue   3250.00
22   Nokia 106 (2018) - 1.8" inch Display - 4MB Sto...   3150.00
23                        Nokai 6.1 plus BLUE 4GB 64GB     26600
24          Nokia 3.2 BLACK 3GB 64GB (ADVANCE TELECOM)  25400.00
25                            Nokia 2.2 BLACK 3GB 32GB     17300
26   6.1 2018 - 5.5" - 3Gb Ram - 32G Rom - 16Mp Cam...  24999.00
27    3.1 Plus - 6 inches Display - 3Gb Ram - 32Gb Rom  19900.00
28                Nokia 106 2018 - 1.8 inch - Dual Sim   3150.00
29          Nokia 1 Mobile Phone-Dual Sim-1Gb-8Gb-Blue   9500.00
..                                                 ...       ...
130  Nokia 6.1 Plus 4Gb 64Gb Black original (advanc...     26600
131               N 1 1Gb-8Gb - 4.5 Inches - Dark Blue   9500.00
132                     Nokia mobile 105 100% original   1899.00
133        150 - Dual Sim - Camera - Card Slot - Black   4999.00
134                                     nokia 130 2017   3895.00
135                                          Nokia 150   5099.00
136     Nokia 106 - 2018 - 1.8" - Dual Sim - Dark Grey   3098.00
137                      105 - 2017 - Dual Sim - Black   3250.00
138                                          Nokia 210   5450.00
139                Nokia 105 - Dual sim - 1.77” - 2019   3149.00
140              105 - Dual sim - 1.77” - 2019 - Black   3049.00
141                       105 - 2017 - Dual Sim - Blue   3250.00
142  Nokia 106 (2018) - 1.8" inch Display - 4MB Sto...   3150.00
143                       Nokai 6.1 plus BLUE 4GB 64GB     26600
144         Nokia 3.2 BLACK 3GB 64GB (ADVANCE TELECOM)  25400.00
145                           Nokia 2.2 BLACK 3GB 32GB     17300
146  6.1 2018 - 5.5" - 3Gb Ram - 32G Rom - 16Mp Cam...  24999.00
147   3.1 Plus - 6 inches Display - 3Gb Ram - 32Gb Rom  19900.00
148               Nokia 106 2018 - 1.8 inch - Dual Sim   3150.00
149         Nokia 1 Mobile Phone-Dual Sim-1Gb-8Gb-Blue   9500.00
150   150 -2.4"- Dual Sim - Camera - Card Slot - black   5050.00
151  Nokia 3.1 Plus - 6’’ HD+ display-Camera Front ...  18999.00
152           Nokia 210 Mobile Phone - 2.4" - 16MB RAM   5449.00
153                                       Nokia 7 Plus  33999.00
154  nokia 106 2018 /Nokia 106, 2000 contacts phone...   3000.00
155  N 8110 Dual Sim - 2.45" Lcd - 2.5Gb Rom - 2Mp ...  10000.00
156  nokia 210 2.4 inch 16 mb ram internet black   ...   5425.00
157                          Nokia 1 plus Mobile Phone  12499.00
158                                    3310 - Dual Sim   8000.00
159                                 Nokia 7.1 4GB/64GB  31699.00

[160 rows x 2 columns]