Python Scrapy-Ubuntu-调用元类基时出错
现在正在取得一些进展!问题是我无法从网站中提取价格,你们能告诉我价格字段有什么问题吗Python Scrapy-Ubuntu-调用元类基时出错,python,scrapy,Python,Scrapy,现在正在取得一些进展!问题是我无法从网站中提取价格,你们能告诉我价格字段有什么问题吗 import scrapy class MilSpider(scrapy.Spider): name = 'mil' allowed_domains = ['milsims.com.au'] start_urls = ['http://www.milsims.com.au/catalog/1746' ] def parse(self, response): for title in response
import scrapy
class MilSpider(scrapy.Spider):
name = 'mil'
allowed_domains = ['milsims.com.au']
start_urls = ['http://www.milsims.com.au/catalog/1746'
]
def parse(self, response):
for title in response.css('div.views-field-title'):
yield {'title': title.css('a ::text').extract_first()}
for price in response.css('div.views-field-phpcode'):
yield {'price': price.css('a ::text').extract_first()}
next_page = response.css('li.pager-nexta::attr(href)').extract_first()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse)
问候以下是你的方法,只要在脑海中想一个舒利妥因,然后翻译成代码,反复阅读持有一个产品的每个
TD
,然后抓住标题和价格
for product in resposne.css(".view-advanced-catalog tr > td"):
item = {}
item['name'] = product.css(".views-field-title").extract_first()
item['old_price'] = product.css(".views-field-phpcode span span::text").extract()[0]
item['new_price'] = product.css(".views-field-phpcode span span::text").extract()[1]
yield item
那是你真正的密码吗?看看缩进的代码,它完全搞砸了。嘿,谢谢你的回复。我正在到达那里,还在学习!所以现在我能够勉强拿到比赛的冠军,但是我仍然无法拿到价格。你能帮我吗?下面有什么问题请(让我试着添加新代码)在你的问题中发布你的完整代码我刚刚用蜘蛛更新了我的帖子。。。这一个是为了刮取产品名称,但我仍然无法刮取价格:(您的CSS选择器不正确,您正在执行
div.views-field-phpcode
…这是正确的,但是您正在执行a::text
,但是div.views-field-phpcode
中没有a
标记…无论如何,请阅读我的答案,这应该有效,如果有效,请向上投票并标记我的答案已被接受…我的专业人士。)提示是,始终使用Chrome中的Firebug
或Inspect元素
测试CSS或Xpath表达式,然后写入代码。请问您是否可以告诉我mjst的收益线是什么样子的?我看到您在下面提供了帮助,但现在我需要正确地编写收益来完成代码,我无法这样做仅此一项:(.非常感谢!只需在内部为loopit工作生成项目:)唯一的问题是提取现在是这样的:“$69.95”…有没有办法只获取数字而不是整个文本?谢谢你是最好的!我保证最后一个问题。我如何从“添加到购物车”按钮提取文本以及每个产品图片的url?谢谢!