刮擦FTP导出不工作

刮擦FTP导出不工作,ftp,export,scrapy,Ftp,Export,Scrapy,我正在尝试上传CSV,其中包含我在FTP上的所有抓取数据,使用 scrapy crawl spidername --set FEED_URI=ftp://user:pass@ftp.example.com/path/to/export.csv 终端没有给出任何错误并开始抓取,但当它完成工作时,我在服务器上看不到任何文件 其他信息: Scrapy版本1.0.3 操作系统Mac OS X El Capitan 列表项 如果我写入本地文件(CSV或Json),爬行器工作得非常好 帮忙 更新 我没

我正在尝试上传CSV,其中包含我在FTP上的所有抓取数据,使用

scrapy crawl spidername --set FEED_URI=ftp://user:pass@ftp.example.com/path/to/export.csv
终端没有给出任何错误并开始抓取,但当它完成工作时,我在服务器上看不到任何文件

其他信息:

  • Scrapy版本1.0.3
  • 操作系统Mac OS X El Capitan
  • 列表项
如果我写入本地文件(CSV或Json),爬行器工作得非常好

帮忙

更新
我没有做任何新的东西,也没有修改代码中的任何东西,但经过多次尝试,它成功了。该文件位于服务器上。不幸的是,我说不出是什么让它这次起作用。

您将
scrapy
全局选项设置错误。帮助说明它应该是以下格式之一:

--set=NAME=VALUE,-s NAME=VALUE


因此,使用
-s
而不是
-set

您将
scrapy
全局选项设置错误。帮助说明它应该是以下格式之一:

--set=NAME=VALUE,-s NAME=VALUE



因此,请使用
-s
而不是
-set

请将问题移至。“它在这儿。”马丁普里克瑞尔,我不明白为什么。这里还有很多与Scrapy相关的问题……关于用Scrapy编写脚本的问题都在这里。但关于使用命令行刮擦工具的问题已经离题了。事实上,你的问题与编程无关。它也与此无关(事实上,Scrapy是用python编写的,与从命令行使用工具无关)。@MartinPrikryl在我看来,这是使用
Scrapy
的命令行选项的问题。这是否会减少话题之外的话题?@FrankMartin我不这么认为。它不是“特定的编程问题”或“软件算法”,或“程序员常用的软件工具”。请把你的问题转到。“它在这儿。”马丁普里克瑞尔,我不明白为什么。这里还有很多与Scrapy相关的问题……关于用Scrapy编写脚本的问题都在这里。但关于使用命令行刮擦工具的问题已经离题了。事实上,你的问题与编程无关。它也与此无关(事实上,Scrapy是用python编写的,与从命令行使用工具无关)。@MartinPrikryl在我看来,这是使用
Scrapy
的命令行选项的问题。这是否会减少话题之外的话题?@FrankMartin我不这么认为。它不是“特定的编程问题”或“软件算法”,或“程序员常用的软件工具”。您好,弗兰克·马丁,谢谢您的回答。我尝试了
scrapy crawl spidername-s FEED\u URI=ftp://user:pass@ftp.example.com/path/to/export.csv
,但我的服务器中的文件夹仍然是空的。我确信用户、密码、主机和路径都是正确的。我将文件夹权限设置为777。我不知道现在该怎么办……也许你还需要添加
-tcv
选项,告诉
scrapy
你想以那种格式导出!?只是猜测一下,因为我从未直接导出到ftp。好的,添加了
-t csv
。不起作用。谢谢你的帮助。我将继续搜索解决方案,如果我能找到有效的解决方案,我将在这里发布。请编辑您的问题并添加更多信息:剪贴版本、操作系统、命令输出。如果您写入本地文件,您的爬行器是否工作?完成,谢谢@Frank Martin。输出没有提到任何错误。它就像我在处理本地文件一样工作。它可以正常工作,但不向服务器写信。你好@Frank Martin,谢谢你的回答。我尝试了
scrapy crawl spidername-s FEED\u URI=ftp://user:pass@ftp.example.com/path/to/export.csv
,但我的服务器中的文件夹仍然是空的。我确信用户、密码、主机和路径都是正确的。我将文件夹权限设置为777。我不知道现在该怎么办……也许你还需要添加
-tcv
选项,告诉
scrapy
你想以那种格式导出!?只是猜测一下,因为我从未直接导出到ftp。好的,添加了
-t csv
。不起作用。谢谢你的帮助。我将继续搜索解决方案,如果我能找到有效的解决方案,我将在这里发布。请编辑您的问题并添加更多信息:剪贴版本、操作系统、命令输出。如果您写入本地文件,您的爬行器是否工作?完成,谢谢@Frank Martin。输出没有提到任何错误。它就像我在处理本地文件一样工作。它执行其工作,但不向服务器写入数据。