Web scraping 使用requests.get或scrapy删除链接后无法查看某些数据

Web scraping 使用requests.get或scrapy删除链接后无法查看某些数据,web-scraping,python-requests,scrapy,Web Scraping,Python Requests,Scrapy,我正试图从中提取数据。具体来说,我需要阅读左上表中的数字。如果您查看html页面,您将在标记下看到这些数字,这些标记的id为“e0”、“e3”、“e1”和“e4”。然而,一旦将响应保存到文本文件中,就会缺少所有这些数字和其他一些数字。我已经尝试过使用selenium,延迟约20秒(以便加载javascript),但这不起作用,并且找不到元素。 是否有解决此问题的方法?如果使用inspect element>network>filter by XHR,您将看到发送数据的页面: 在您的案例中,这是

我正试图从中提取数据。具体来说,我需要阅读左上表中的数字。如果您查看html页面,您将在
标记下看到这些数字,这些标记的
id为
“e0”
“e3”
“e1”
“e4”
。然而,一旦将响应保存到文本文件中,就会缺少所有这些数字和其他一些数字。我已经尝试过使用selenium,延迟约20秒(以便加载javascript),但这不起作用,并且找不到元素。
是否有解决此问题的方法?

如果使用inspect element>network>filter by XHR,您将看到发送数据的页面:

在您的案例中,这是一个链接:
http://www.tsetmc.com/tsev2/data/instinfofast.aspx?i=7745894403636165&c=23%20


不幸的是,这些数据排列不当,因此您必须查看答案中哪个位置是您感兴趣的数据。祝你好运。

@@A太好了。我现在看到了数据。但还有两个问题:1。如何使用刮削技术从类似这样的页面的XHR部分提取此链接。?2.页面中的某些标题既没有出现在requests.get()的响应中,也没有出现在XHR的链接中。它们在哪里?如何发送到登录页?