使用crontab时,管道功能无法在Scrapy中生效

使用crontab时,管道功能无法在Scrapy中生效,scrapy,crontab,Scrapy,Crontab,我正在使用Scrapy抓取一些网站。我手动运行了代码,它运行良好,进入管道模块并将数据插入数据库。 然而,当我想在Ubuntu中使用crontab定期运行代码时,出现了一个问题。 它没有进入pileline模块或我在管道中编写的函数。 我能做什么? 这是我的零件代码: **pipelines.py** class PlatformnewsPipeline(object) def process_item(self, item, spider): log.msg('~~~~

我正在使用Scrapy抓取一些网站。我手动运行了代码,它运行良好,进入管道模块并将数据插入数据库。 然而,当我想在Ubuntu中使用crontab定期运行代码时,出现了一个问题。 它没有进入pileline模块或我在管道中编写的函数。 我能做什么? 这是我的零件代码:

**pipelines.py**
class PlatformnewsPipeline(object)
    def process_item(self, item, spider):
        log.msg('~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~')
在手动模式下,它没有在crontab的输出中输入“~~~~~~~~~~~~~~~~~~~”。 以下是我的项目设置:

DEFAULT_ITEM_CLASS = 'platformNews.items.PlatformnewsItem'

ITEM_PIPELINES = {
    'platformNews.pipelines.PlatformnewsPipeline': 300
}

crontab :
33 9,12,18 * * * python get_news.py >> log.log 2>&1
有几件事需要检查

你已经说过你的管道坏了。你检查过你的蜘蛛网是否工作了吗?尝试在您的spider中添加日志记录。 您的crontab条目get_news.py是一个相对路径,它真的执行了吗?或者python可能找不到该文件。尝试完全绝对路径。 33 9,12,18***cd您的项目目录路径和python get\u news.py>>log.log 2>&1


希望能帮助其他面临这个问题的人。

你能发布你的crontab条目吗?33 9,12,18***python get_news.py>>log.log 2>&1以及log.log中的内容吗?log?Blank,只是scrapy中的一些初始信息。如果管道工作正常,它会在我的log.log中打印几十个“~~~~~~~~~~~~~~~~~~~~~”,我手动执行我的文件Showy spider正在工作,但不要进入管道。我的crontab中文件的绝对路径被剪切,我只显示文件名。但是,当我手动执行文件时,它工作得很好。