Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/311.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 响应与起始url不同_Python_Xpath_Web Scraping_Scrapy - Fatal编程技术网

Python 响应与起始url不同

Python 响应与起始url不同,python,xpath,web-scraping,scrapy,Python,Xpath,Web Scraping,Scrapy,我正在scrapy shell中练习xpath。我工作的网页是 我想把表中的数据拼凑起来。但是在我打字之后 scrapy shell http://bxt.harbin.gov.cn/more.php?nameid=1&frameid=1&colorid=1 在Windows cmd中,我发现在“可用的刮擦对象”下有 [s] response <200 http://bxt.harbin.gov.cn/more.php?nameid=0> [s]响应

我正在scrapy shell中练习xpath。我工作的网页是

我想把表中的数据拼凑起来。但是在我打字之后

scrapy shell http://bxt.harbin.gov.cn/more.php?nameid=1&frameid=1&colorid=1
在Windows cmd中,我发现在“可用的刮擦对象”下有

[s]   response   <200 http://bxt.harbin.gov.cn/more.php?nameid=0>
[s]响应

响应url与我要处理的url不同。错误的url没有我要提取的数据。你知道为什么会这样吗?谢谢

所需表格位于
iframe
内-转到加载
iframe
的URL:

$ scrapy shell http://bxt.harbin.gov.cn/hrb_bzbxt/list_hf.php
In [1]: for row in response.xpath("//table[3]//tr[position() > 1]"):
    print row.xpath(".//td[1]/text()").extract()[0]
   ...:  
551626
551617
551616
551614
551612
551611
...
551521
在上面的演示中,将打印每个表行的第一个单元格的内容