Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/304.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 不带空行的Scrapy csv导出_Python_Csv_Web Scraping_Scrapy - Fatal编程技术网

Python 不带空行的Scrapy csv导出

Python 不带空行的Scrapy csv导出,python,csv,web-scraping,scrapy,Python,Csv,Web Scraping,Scrapy,我有下面的代码: from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor class AliSpider(CrawlSpider): name = "alibot" allowed_domains = ["alibaba.com"] start_urls = { 'http://www.alibaba.com/catalog/

我有下面的代码:

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class AliSpider(CrawlSpider):
    name = "alibot"
    allowed_domains = ["alibaba.com"]
    start_urls = {
        'http://www.alibaba.com/catalog/power-banks_cid100009648',
    }

    rules = (Rule(LinkExtractor(allow=('product-detail')), callback = 'parse_page', follow = True),)

    def parse_page(self,response):
        yield {'URL':response.url}
当我运行
scrapy-crawl-alibot-o data.csv
时,它将URL保存在一个csv文件中。 我不希望两个值之间出现空白行。我可以用excel删除它,但当它是大数据时,它会变得单调乏味。我不希望两个值之间出现空白行,因为其他的scrapy代码导入这个csv文件并从每个链接提取数据。如果它找到一个空白行,它就停在那里,这是我不想要的。我该怎么做?谢谢

data.csv::

URL

http://www.alibaba.com/product-detail/mini-portable-qi-wireless-phone-charging_60793204715.html?s=p

http://www.alibaba.com/product-detail/New-Portable-Power-Bank-4000mah-Slim_60445623561.html

http://www.alibaba.com/product-detail/100W-40800mah-portable-power-bank-station_60696475188.html

http://www.alibaba.com/product-detail/Portable-universal-solar-charger-solar-power_60230498369.html

http://www.alibaba.com/product-detail/HE-M19-Hand-Warmer-Power-Bank_60694294192.html

好的,这篇文章帮了我的忙:。 在setting.py文件中进行这些更改

FEED_EXPORTERS = {
    'csv': 'your_project_name.exporters.FixLineCsvItemExporter',
} 

将exporters.py文件添加到spider文件夹中,其中有
\uuuu init\uuu
文件。bam,输出文件不包含空行。

好的,这篇文章帮了我的忙:。 在setting.py文件中进行这些更改

FEED_EXPORTERS = {
    'csv': 'your_project_name.exporters.FixLineCsvItemExporter',
} 

将exporters.py文件添加到spider文件夹中,其中有
\uuuu init\uuu
文件。bam,输出文件不包含空行。

您检查过dos/unix换行器是否存在问题吗?我如何检查?使用编辑器可以读取普通文件并显示您尝试过的特殊字符
response.url.strip()
以确保数据末尾没有什么内容?您是否检查了dos/unix换行是否有问题?我如何检查?使用一个可以读取普通文件并显示特殊字符的编辑器尝试
response.url.strip()
以确保数据末尾没有什么内容?