Web scraping P类使用find_all是空的,即使它在那里
我正试图使用BeautifulSoup来清理Kickstarter页面,特别是针对风险和挑战部分,但似乎无法使其正常工作Web scraping P类使用find_all是空的,即使它在那里,web-scraping,beautifulsoup,Web Scraping,Beautifulsoup,我正试图使用BeautifulSoup来清理Kickstarter页面,特别是针对风险和挑战部分,但似乎无法使其正常工作 import requests from bs4 import BeautifulSoup response = requests.get("https://www.kickstarter.com/projects/snapmaker/snapmaker-20-modular-3-in-1-3d-printers") soup = BeautifulSoup(respon
import requests
from bs4 import BeautifulSoup
response = requests.get("https://www.kickstarter.com/projects/snapmaker/snapmaker-20-modular-3-in-1-3d-printers")
soup = BeautifulSoup(response.content, "html.parser")
project = soup.find("p", {"class" :"js-risks-text text-preline"})
我打印出来的项目是空的。谁能告诉我为什么会这样?我已经检查了响应是否有效,只需在
p
上调用find_all
,您试图抓取的内容就会在浏览器中动态呈现。您可以这样使用:
输出:
这是我们的第二个Kickstarter
运动到目前为止,我们已经向中国的用户交付了10000多台
100多个国家。我们使用的是与我们相同的供应基地
通过我们的第一个产品在过去两年中建立。我们
不断改进我们的生产工艺和工艺流程。我们已经
还选择了该行业最好的供应商。我们感到自信
我们将确保产品质量并按时交货
提供。
Snapmaker 2.0是一款比原始机型更复杂的产品。
试飞期间可能会出现意外风险
生产。Snapmaker 2.0中激光模块的安全等级为
四班。我们将特别注意获得FDA/FCC/CE/RoHS
8月底的认证,这是交付所必需的
我们的产品销往美国、欧盟和世界大部分地区。当我们
完成了我们的第一个Kickstarter活动,我们经历了艰难的
推迟大规模生产的决定是为了使我们自己保持高水平
质量和用户体验标准。除非我们的客户同意,否则我们不会发货
产品可以达到或超过这些高标准
你知道如何解决“有时喝汤,但找不到”这个问题吗?
from selenium import webdriver
browser = webdriver.Firefox()
browser.get("https://www.kickstarter.com/projects/snapmaker/snapmaker-20-modular-3-in-1-3d-printers")
html = browser.page_source
soup = BeautifulSoup(html, "lxml")
project = soup.find("p", {"class" :"js-risks-text"})