PythonWebScraping-实时数据
我正在尝试在本页的“收件人”处刮取实时数据: 我目前的方法是:PythonWebScraping-实时数据,python,web-scraping,automation,python-requests,stocks,Python,Web Scraping,Automation,Python Requests,Stocks,我正在尝试在本页的“收件人”处刮取实时数据: 我目前的方法是: import time import re import bs4 from bs4 import BeautifulSoup as soup import requests while (1==1): con = requests.request('get','https://www.wallstreet- online.de/devisen/euro-us-dollar-eur-usd-kurs/realtime
import time
import re
import bs4 from bs4 import BeautifulSoup as soup
import requests
while (1==1):
con = requests.request('get','https://www.wallstreet-
online.de/devisen/euro-us-dollar-eur-usd-kurs/realtime', stream = True)
page = con.text
kursSoup = soup(page, "html.parser")
kursDiv = kursSoup.find("div", {"class":"pull-left quoteValue"})
print(kursDiv.span)
del con
del page
del kursSoup
del kursDiv
#time.sleep(2)
print("end")
有效,但与网站上的数据不同步。我真的不明白为什么,因为我删除了循环末尾的所有变量,所以当网站上的数据发生变化时,结果应该会改变,但似乎在固定的时间内保持不变。有人知道为什么或者有更好的方法来做这件事吗(我是一个该死的初学者,甚至不知道这个网站是如何工作的,这就是我解析html的原因)。看起来这个网页可能正在使用JavaScript来填充和更新这个数字。我不熟悉BeautifulSoup,但我认为它不会在页面上运行JavaScript来更新该数字
您可能希望使用类似Chrome Developer Tools的工具来关注网络选项卡。我看了看,好像有一个websocket连接到
wss://push.wallstreet-online.de/lightstreamer
在幕后进行。您可能希望使用websocket客户端Python库来读取该套接字,并查找一些API文档或对来自该套接字的数据进行反向工程。祝你好运 非常感谢你,你能推荐一个特定的websocket客户端库或者一个教程或者类似的东西来说明它是如何工作的吗(没错,bs不运行javascript,但我认为每次重新连接到网站时,我都应该得到更新的数据)在完成工作之前,我已经使用过这个。我手头没有任何教程,对不起,巴德。我已经回滚了您的编辑:请不要在问题本身中包含解决方案;相反,请在中找到它,并将其作为自己的答案发布。