Python爬虫程序无法刮取所需的元素

Python爬虫程序无法刮取所需的元素,python,python-2.7,scrapy,Python,Python 2.7,Scrapy,我试图从一个特定页面中刮取一些元素:在本例中为“”,但我面临的问题是,除了产品名称之外,我无法刮取任何内容,其他任何内容都只返回null。请帮我找到正确的方向,如果你能解释问题所在,我将不胜感激 注意:好的,所以我改变了以前和现在使用scrapy的方式。现在我可以废弃任何我想要的元素,但标签也与之配套。如何删除标签? 以下是新代码: sel = Selector(response) item['Heading'] = sel.xpath('//*[@id="main1"]/div[1]/div

我试图从一个特定页面中刮取一些元素:在本例中为“”,但我面临的问题是,除了产品名称之外,我无法刮取任何内容,其他任何内容都只返回null。请帮我找到正确的方向,如果你能解释问题所在,我将不胜感激

注意:好的,所以我改变了以前和现在使用scrapy的方式。现在我可以废弃任何我想要的元素,但标签也与之配套。如何删除标签? 以下是新代码:

sel = Selector(response)

item['Heading'] = sel.xpath('//*[@id="main1"]/div[1]/div[1]/div/div[2]/div[2]/div/div[1]/h2/span').extract()
item['Content'] = sel.xpath('//*[@id="main1"]/div[1]/div[1]/div/div[2]/div[2]/div/p').extract()
只需在xpath末尾添加
/text()

sel = Selector(response)

item['Heading'] = sel.xpath('//*[@id="main1"]/div[1]/div[1]/div/div[2]/div[2]/div/div[1]/h2/span/text()').extract()
item['Content'] = sel.xpath('//*[@id="main1"]/div[1]/div[1]/div/div[2]/div[2]/div/p/text()').extract()
只需在xpath末尾添加
/text()

sel = Selector(response)

item['Heading'] = sel.xpath('//*[@id="main1"]/div[1]/div[1]/div/div[2]/div[2]/div/div[1]/h2/span/text()').extract()
item['Content'] = sel.xpath('//*[@id="main1"]/div[1]/div[1]/div/div[2]/div[2]/div/p/text()').extract()