Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/296.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Freebsd中使用不含selenium的Python进行Web抓取_Python_Web Scraping - Fatal编程技术网

在Freebsd中使用不含selenium的Python进行Web抓取

在Freebsd中使用不含selenium的Python进行Web抓取,python,web-scraping,Python,Web Scraping,我有一个问题,在freebsd中没有selenium的情况下可能webscraping,那么页面加载数据的速度会很慢吗? 我知道有request的beatiful soup,但他只选择了一个请求,没有呈现加载另一个请求的java脚本,对吗 为什么不是硒?我的freebsd服务器只有1 gb ram和geckodriver不能使用一个,至少需要两个,但我无法升级我的服务器 页面链接是 我需要先找到前20个头球。我在selenium中的代码(但我需要不含selenium的make) 也许可以从jso

我有一个问题,在
freebsd
中没有
selenium
的情况下可能
webscraping
,那么页面加载数据的速度会很慢吗? 我知道有
request
beatiful soup
,但他只选择了一个请求,没有呈现加载另一个请求的java脚本,对吗

为什么不是硒?我的
freebsd
服务器只有
1 gb ram
geckodriver
不能使用一个,至少需要两个,但我无法升级我的服务器

页面链接是

我需要先找到前20个头球。我在selenium中的代码(但我需要不含selenium的make)

也许可以从json获取数据?或者是没有要求的美味汤什么的?谢谢你的帮助

编辑
json链接where are headers top 20在哪里,但是他们会发布它,因此需要获得什么

您可以尝试
请求html
包“缓慢”加载数据不是由selenium引起的-如果您直接调用它,页面加载也会缓慢,因为它会计算所有按需提供的内容。如果有一个API,你应该首先使用它,否则selenium是一个非常好的选择。@James我不能在我的freebsd服务器中安装html请求。@HedgeHog我没有说它的selenium问题,但我不能解决selenium的什么问题。
driver.get("https://www.verivox.de/stromvergleich/vergleich/#/?plz=10555&persons=on&usage=3500&bonus=OnlyCompliant&profile=H0&product=electricity&source=1&q=WzYsMCwxLDEsMSwxLDEsMiwyMCwwLDEsNzQxMTIyLCI3MTA4NSIsMSwyNDAsMjQwLDM1MDAsMCwwLDAsOTk5LC0xLC0xLC0xLDAsMCwiVG90YWxDb3N0cyIsIkFzY2VuZGluZyIsIk5vbmUiLDM4LCJBbm51YWxDb3N0VmlldyIsMF0%3D&partnerid=1").text
time.sleep(3)
allheader=WebDriverWait(driver,20).until(expected.visibility_of_all_elements_located((By.CSS_SELECTOR,"li[class='result-item'] .result-name-area>.result-name")))
for header in allheader:
    print("Header: " + header.text)