Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/280.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python请求从错误页面获取HTML代码_Python_Html_Url_Screen Scraping - Fatal编程技术网

Python请求从错误页面获取HTML代码

Python请求从错误页面获取HTML代码,python,html,url,screen-scraping,Python,Html,Url,Screen Scraping,因此,我开始使用python请求查看一些网站的html代码。我会做r=requests.get(url)来获取我需要的所有信息 然而,我注意到这有时不起作用。例如,我正在使用steamcommunity.com获取一些市场数据,所以我使用了url:。这将在7000多页中显示项目的第一页。为了获得不同的页面,我使用了以下url:。这会将您带到网站的第4页,如果您将其放在浏览器中,它就会显示出来。但是,当我阅读html代码时,我从两个URL获得相同的代码,即使它们应该指向具有不同代码的不同页面 非常

因此,我开始使用python请求查看一些网站的html代码。我会做r=requests.get(url)来获取我需要的所有信息

然而,我注意到这有时不起作用。例如,我正在使用steamcommunity.com获取一些市场数据,所以我使用了url:。这将在7000多页中显示项目的第一页。为了获得不同的页面,我使用了以下url:。这会将您带到网站的第4页,如果您将其放在浏览器中,它就会显示出来。但是,当我阅读html代码时,我从两个URL获得相同的代码,即使它们应该指向具有不同代码的不同页面


非常感谢您的帮助!谢谢

是的,但是不同的URL的html代码不应该仍然不同吗?我确实检查了元素,并在chrome中进行了检查,发现有不同的html代码。我对这个很陌生,所以如果我犯了一个明显的错误,请指出。谢谢我从第一页的第一个片段中得到了可以工作的html代码。我能够准确地阅读chrome上显示的所有10项内容。但是,我很好奇。你怎么知道它主要是JavaScript?除了Chrome的inspect元素,你还有其他工具吗?只要看看源代码,如果你想刮除javascript生成的元素,我会试试。非常感谢!尝试最基本的工具“curl”或wget