Python 刮削<;脚本>;标记为BS4

Python 刮削<;脚本>;标记为BS4,python,python-3.x,beautifulsoup,bs4,Python,Python 3.x,Beautifulsoup,Bs4,我是Python新手,正在尝试开发一个简单的web刮板。我在删除HTML中的脚本标记时遇到问题。这是我的密码: from urllib.request import Request, urlopen from bs4 import BeautifulSoup import re link = "https://yeezysupply.com/products/womens-mule-pvc-clear" def get_variants(): url1 = Request(link,

我是Python新手,正在尝试开发一个简单的web刮板。我在删除HTML中的脚本标记时遇到问题。这是我的密码:

from urllib.request import Request, urlopen
from bs4 import BeautifulSoup
import re

link = "https://yeezysupply.com/products/womens-mule-pvc-clear"

def get_variants():
    url1 = Request(link, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36'
                '(KHTML, like Gecko) Chrome/56.0.2924.28 Safari/537.36'})
    url2 = urlopen(url1)
    soup = BeautifulSoup(url2, 'html.parser')
    variants = soup.find(string=re.compile(r'\bid\s*:\s(\d{11}),\s*parent_id'))
    print(variants)

if __name__ == '__main__':
    get_variants()
代码当前返回:

KANYE.p.variants.push({
  id                : 38844706759,
  parent_id         : 9876888199,
  available         : true,
  featured_image    : null,
  public_title      : null,
  requires_shipping : true,
  price             : 62500,
  options           : ["35"],
  option1           : "35",
  option2           : "",
  option3           : "",
  option4           : ""
});

KANYE.p.variants.push({
  id                : 38844706887,
  parent_id         : 9876888199,
  available         : true,
  featured_image    : "\/\/cdn.shopify.com\/s\/files\/1\/1765\/5971\/products\/KW3029.001_Side1_650xx.jpg?v=1488326253",
  public_title      : null,
  requires_shipping : true,
  price             : 62500,
  options           : ["35.5"],
  option1           : "35.5",
  option2           : "",
  option3           : "",
  option4           : ""
});

KANYE.p.variants.push({
  id                : 38844706951,
  parent_id         : 9876888199,
  available         : true,
  featured_image    : null,
  public_title      : null,
  requires_shipping : true,
  price             : 62500,
  options           : ["36"],
  option1           : "36",
  option2           : "",
  option3           : "",
  option4           : ""
});
...

我试着只获取“id”及其值。所以我需要刮取id:38844706759,id:38844706887,id:38844706951。这怎么可能?我已经做了很长一段时间了,我仍然很困惑

BeautifulSoup无法分析脚本标记。仅在其中查找与查询匹配的文本(因为它们是顶级元素的一部分)

在您的
variants=soup.find(string=re.compile(r'\bid\s*:\s(\d{11}),\s*parent\u id'))之后
您可以执行regex findall来查找id标记

variants = soup.find_all(string=re.compile(r'\bid\s*:\s(\d{11}),\s*parent_id'))
for variant in variants:
    print (re.findall(r'id\s+:.(.*?),', variant,  re.MULTILINE))
哪个输出

[u'9876888199', u'38844706759', u'9876888199'...]

啊,我明白了,谢谢你的回复。我试图实现该代码,但它无数次返回
[]
,而不是id。我哪里出错了?@BrianHunt更新你的变体,用我更新帖子的代码查找;谢谢,效果很好。有没有办法只输出id而不输出父id?