PythonWebScraping-实时数据

PythonWebScraping-实时数据,python,web-scraping,automation,python-requests,stocks,Python,Web Scraping,Automation,Python Requests,Stocks,我正在尝试在本页的“收件人”处刮取实时数据: 我目前的方法是: import time import re import bs4 from bs4 import BeautifulSoup as soup import requests while (1==1): con = requests.request('get','https://www.wallstreet- online.de/devisen/euro-us-dollar-eur-usd-kurs/realtime

我正在尝试在本页的“收件人”处刮取实时数据:

我目前的方法是:

import time
import re
import bs4 from bs4 import BeautifulSoup as soup
import requests
while (1==1):
   con =  requests.request('get','https://www.wallstreet- 
   online.de/devisen/euro-us-dollar-eur-usd-kurs/realtime', stream = True)
   page = con.text
   kursSoup = soup(page, "html.parser")
   kursDiv = kursSoup.find("div", {"class":"pull-left quoteValue"})
   print(kursDiv.span)
   del con
   del page
   del kursSoup
   del kursDiv
   #time.sleep(2)
print("end")

有效,但与网站上的数据不同步。我真的不明白为什么,因为我删除了循环末尾的所有变量,所以当网站上的数据发生变化时,结果应该会改变,但似乎在固定的时间内保持不变。有人知道为什么或者有更好的方法来做这件事吗(我是一个该死的初学者,甚至不知道这个网站是如何工作的,这就是我解析html的原因)。

看起来这个网页可能正在使用JavaScript来填充和更新这个数字。我不熟悉BeautifulSoup,但我认为它不会在页面上运行JavaScript来更新该数字


您可能希望使用类似Chrome Developer Tools的工具来关注网络选项卡。我看了看,好像有一个websocket连接到
wss://push.wallstreet-online.de/lightstreamer
在幕后进行。您可能希望使用websocket客户端Python库来读取该套接字,并查找一些API文档或对来自该套接字的数据进行反向工程。祝你好运

非常感谢你,你能推荐一个特定的websocket客户端库或者一个教程或者类似的东西来说明它是如何工作的吗(没错,bs不运行javascript,但我认为每次重新连接到网站时,我都应该得到更新的数据)在完成工作之前,我已经使用过这个。我手头没有任何教程,对不起,巴德。我已经回滚了您的编辑:请不要在问题本身中包含解决方案;相反,请在中找到它,并将其作为自己的答案发布。