Python 刮削<;脚本>;标记为BS4
我是Python新手,正在尝试开发一个简单的web刮板。我在删除HTML中的脚本标记时遇到问题。这是我的密码:Python 刮削<;脚本>;标记为BS4,python,python-3.x,beautifulsoup,bs4,Python,Python 3.x,Beautifulsoup,Bs4,我是Python新手,正在尝试开发一个简单的web刮板。我在删除HTML中的脚本标记时遇到问题。这是我的密码: from urllib.request import Request, urlopen from bs4 import BeautifulSoup import re link = "https://yeezysupply.com/products/womens-mule-pvc-clear" def get_variants(): url1 = Request(link,
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
import re
link = "https://yeezysupply.com/products/womens-mule-pvc-clear"
def get_variants():
url1 = Request(link, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36'
'(KHTML, like Gecko) Chrome/56.0.2924.28 Safari/537.36'})
url2 = urlopen(url1)
soup = BeautifulSoup(url2, 'html.parser')
variants = soup.find(string=re.compile(r'\bid\s*:\s(\d{11}),\s*parent_id'))
print(variants)
if __name__ == '__main__':
get_variants()
代码当前返回:
KANYE.p.variants.push({
id : 38844706759,
parent_id : 9876888199,
available : true,
featured_image : null,
public_title : null,
requires_shipping : true,
price : 62500,
options : ["35"],
option1 : "35",
option2 : "",
option3 : "",
option4 : ""
});
KANYE.p.variants.push({
id : 38844706887,
parent_id : 9876888199,
available : true,
featured_image : "\/\/cdn.shopify.com\/s\/files\/1\/1765\/5971\/products\/KW3029.001_Side1_650xx.jpg?v=1488326253",
public_title : null,
requires_shipping : true,
price : 62500,
options : ["35.5"],
option1 : "35.5",
option2 : "",
option3 : "",
option4 : ""
});
KANYE.p.variants.push({
id : 38844706951,
parent_id : 9876888199,
available : true,
featured_image : null,
public_title : null,
requires_shipping : true,
price : 62500,
options : ["36"],
option1 : "36",
option2 : "",
option3 : "",
option4 : ""
});
...
我试着只获取“id”及其值。所以我需要刮取id:38844706759,id:38844706887,id:38844706951。这怎么可能?我已经做了很长一段时间了,我仍然很困惑 BeautifulSoup无法分析脚本标记。仅在其中查找与查询匹配的文本(因为它们是顶级元素的一部分) 在您的
variants=soup.find(string=re.compile(r'\bid\s*:\s(\d{11}),\s*parent\u id'))之后
您可以执行regex findall来查找id标记
variants = soup.find_all(string=re.compile(r'\bid\s*:\s(\d{11}),\s*parent_id'))
for variant in variants:
print (re.findall(r'id\s+:.(.*?),', variant, re.MULTILINE))
哪个输出
[u'9876888199', u'38844706759', u'9876888199'...]
啊,我明白了,谢谢你的回复。我试图实现该代码,但它无数次返回
[]
,而不是id。我哪里出错了?@BrianHunt更新你的变体,用我更新帖子的代码查找;谢谢,效果很好。有没有办法只输出id而不输出父id?