Python Scrapy警告已禁用HttpCacheMiddleware

我在运行scrapy时收到以下警告：

 [scrapy] WARNING: Disabled HttpCacheMiddleware: Unable to find scrapy.cfg file to infer project data dir

---

你的

scrapy.cfg

文件在哪里？您是从命令行运行的吗？如果是这样，您应该从与

scrapy.cfg

相同的目录运行

您的项目目录是什么样子的。它应该看起来像：

.
├── dirbot
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── dmoz.py
│       └── __init__.py
├── README.rst
└── scrapy.cfg

更新

如果您使用的是

cron

，请尽量不要使用

root

用户。您可以将路径信息直接添加到crontab中：

---

你的

scrapy.cfg

文件在哪里？您是从命令行运行的吗？如果是这样，您应该从与

scrapy.cfg

相同的目录运行

您的项目目录是什么样子的。它应该看起来像：

.
├── dirbot
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── dmoz.py
│       └── __init__.py
├── README.rst
└── scrapy.cfg

更新

如果您使用的是

cron

，请尽量不要使用

root

用户。您可以将路径信息直接添加到crontab中：

---

项目目录与您描述的目录相同，spider是从scheduler.php文件调用的，该文件与scrapy.cfg的目录相同。您如何调用scrapy？Popen（）？谁在调用scheduler.php？阿帕奇？听起来用户的Python路径中没有这个目录。cron作业调用scheduler.php，它运行现在应该运行的spider。cron用户是什么？他在Python路径中没有您的目录。cron用户是root，如何将目录添加到他的Python路径中？项目目录与您描述的目录相同，spider是从scheduler.php文件调用的，该文件与scrapy.cfg的目录相同。您如何调用scrapy？Popen（）？谁在调用scheduler.php？阿帕奇？听起来用户的Python路径中没有这个目录。cron作业调用scheduler.php，它运行现在应该运行的spider。cron用户是什么？他在Python路径中没有您的目录。cron用户是root，如何将目录添加到他的Python路径中？