在Freebsd中使用不含selenium的Python进行Web抓取
我有一个问题,在在Freebsd中使用不含selenium的Python进行Web抓取,python,web-scraping,Python,Web Scraping,我有一个问题,在freebsd中没有selenium的情况下可能webscraping,那么页面加载数据的速度会很慢吗? 我知道有request的beatiful soup,但他只选择了一个请求,没有呈现加载另一个请求的java脚本,对吗 为什么不是硒?我的freebsd服务器只有1 gb ram和geckodriver不能使用一个,至少需要两个,但我无法升级我的服务器 页面链接是 我需要先找到前20个头球。我在selenium中的代码(但我需要不含selenium的make) 也许可以从jso
freebsd
中没有selenium
的情况下可能webscraping
,那么页面加载数据的速度会很慢吗?
我知道有request
的beatiful soup
,但他只选择了一个请求,没有呈现加载另一个请求的java脚本,对吗
为什么不是硒?我的freebsd
服务器只有1 gb ram
和geckodriver
不能使用一个,至少需要两个,但我无法升级我的服务器
页面链接是
我需要先找到前20个头球。我在selenium中的代码(但我需要不含selenium的make)
也许可以从json获取数据?或者是没有要求的美味汤什么的?谢谢你的帮助
编辑
json链接where are headers top 20在哪里,但是他们会发布它,因此需要获得什么您可以尝试
请求html
包“缓慢”加载数据不是由selenium引起的-如果您直接调用它,页面加载也会缓慢,因为它会计算所有按需提供的内容。如果有一个API,你应该首先使用它,否则selenium是一个非常好的选择。@James我不能在我的freebsd服务器中安装html请求。@HedgeHog我没有说它的selenium问题,但我不能解决selenium的什么问题。
driver.get("https://www.verivox.de/stromvergleich/vergleich/#/?plz=10555&persons=on&usage=3500&bonus=OnlyCompliant&profile=H0&product=electricity&source=1&q=WzYsMCwxLDEsMSwxLDEsMiwyMCwwLDEsNzQxMTIyLCI3MTA4NSIsMSwyNDAsMjQwLDM1MDAsMCwwLDAsOTk5LC0xLC0xLC0xLDAsMCwiVG90YWxDb3N0cyIsIkFzY2VuZGluZyIsIk5vbmUiLDM4LCJBbm51YWxDb3N0VmlldyIsMF0%3D&partnerid=1").text
time.sleep(3)
allheader=WebDriverWait(driver,20).until(expected.visibility_of_all_elements_located((By.CSS_SELECTOR,"li[class='result-item'] .result-name-area>.result-name")))
for header in allheader:
print("Header: " + header.text)