Python 不带空行的Scrapy csv导出
我有下面的代码:Python 不带空行的Scrapy csv导出,python,csv,web-scraping,scrapy,Python,Csv,Web Scraping,Scrapy,我有下面的代码: from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor class AliSpider(CrawlSpider): name = "alibot" allowed_domains = ["alibaba.com"] start_urls = { 'http://www.alibaba.com/catalog/
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class AliSpider(CrawlSpider):
name = "alibot"
allowed_domains = ["alibaba.com"]
start_urls = {
'http://www.alibaba.com/catalog/power-banks_cid100009648',
}
rules = (Rule(LinkExtractor(allow=('product-detail')), callback = 'parse_page', follow = True),)
def parse_page(self,response):
yield {'URL':response.url}
当我运行scrapy-crawl-alibot-o data.csv
时,它将URL保存在一个csv文件中。
我不希望两个值之间出现空白行。我可以用excel删除它,但当它是大数据时,它会变得单调乏味。我不希望两个值之间出现空白行,因为其他的scrapy代码导入这个csv文件并从每个链接提取数据。如果它找到一个空白行,它就停在那里,这是我不想要的。我该怎么做?谢谢
data.csv::
URL
http://www.alibaba.com/product-detail/mini-portable-qi-wireless-phone-charging_60793204715.html?s=p
http://www.alibaba.com/product-detail/New-Portable-Power-Bank-4000mah-Slim_60445623561.html
http://www.alibaba.com/product-detail/100W-40800mah-portable-power-bank-station_60696475188.html
http://www.alibaba.com/product-detail/Portable-universal-solar-charger-solar-power_60230498369.html
http://www.alibaba.com/product-detail/HE-M19-Hand-Warmer-Power-Bank_60694294192.html
好的,这篇文章帮了我的忙:。 在setting.py文件中进行这些更改
FEED_EXPORTERS = {
'csv': 'your_project_name.exporters.FixLineCsvItemExporter',
}
将exporters.py文件添加到spider文件夹中,其中有
\uuuu init\uuu
文件。bam,输出文件不包含空行。好的,这篇文章帮了我的忙:。
在setting.py文件中进行这些更改
FEED_EXPORTERS = {
'csv': 'your_project_name.exporters.FixLineCsvItemExporter',
}
将exporters.py文件添加到spider文件夹中,其中有
\uuuu init\uuu
文件。bam,输出文件不包含空行。您检查过dos/unix换行器是否存在问题吗?我如何检查?使用编辑器可以读取普通文件并显示您尝试过的特殊字符response.url.strip()
以确保数据末尾没有什么内容?您是否检查了dos/unix换行是否有问题?我如何检查?使用一个可以读取普通文件并显示特殊字符的编辑器尝试response.url.strip()
以确保数据末尾没有什么内容?