Ubuntu 刮花飞溅设置：“刮花飞溅设置”；飞溅“URL”；_Ubuntu_Scrapy_Scrapy Splash

Ubuntu 刮花飞溅设置：“刮花飞溅设置”；飞溅“URL”；

ubuntu scrapy

Ubuntu 刮花飞溅设置：“刮花飞溅设置”；飞溅“URL”；,ubuntu,scrapy,scrapy-splash,Ubuntu,Scrapy,Scrapy Splash,我的电脑上有一个scrapy splash spider的工作实例。然后我将它迁移到我的linux服务器上。spider工作正常，检索结果时不会溅起水花。然而，对于相同的网站，当我使用splash（）时，我的spider不会检索任何内容，并返回404错误。我已经在我的服务器上安装了nginx和django，我想知道这是否与SPLASH的“SPLASH\u URL”设置冲突 1）我已尝试将初始url更改为以下所有内容： SPLASH_URL = 'http://localhost:8050/'

我的电脑上有一个scrapy splash spider的工作实例。然后我将它迁移到我的linux服务器上。spider工作正常，检索结果时不会溅起水花。然而，对于相同的网站，当我使用splash（）时，我的spider不会检索任何内容，并返回404错误。我已经在我的服务器上安装了nginx和django，我想知道这是否与SPLASH的“SPLASH\u URL”设置冲突

1）我已尝试将初始url更改为以下所有内容：

SPLASH_URL = 'http://localhost:8050/'
SPLASH_URL = 'http://127.0.0.1:80/
SPLASH_URL = '<server ip>:8050/'

SPLASH\u URL='1〕http://localhost:8050/'
飞溅http://127.0.0.1:80/
SPLASH_URL=':8050/'

我还将端口更改为80和8050

2）从服务器上运行curl时，我得到以下结果

 $ curl http://localhost:80/render.html?url=http%3A%2F%2Fwww.google.com

 <html>
   <head><title>404 Not Found</title></head>
   <body bgcolor="white">
     <center><h1>404 Not Found</h1></center>
     <hr><center>nginx/1.10.0 (Ubuntu)</center>
   </body>
 </html>

$curlhttp://localhost:80/render.html?url=http%3A%2F%2Fwww.google.com
404找不到
404找不到
nginx/1.10.0（Ubuntu）

什么可能导致404错误。Splash指令指定在使用docker时将url设置为localhost或docker ip。提前多谢

我刚刚想到了这一点。结果表明，由于某些错误，我的启动服务器已退出。运行

docker start

修复了这个问题

我刚刚解决了这个问题。结果表明，由于某些错误，我的启动服务器已退出。运行

docker start

修复了该问题

是否启用了

SplashDeduplicateArgsMiddleware

、

SplashCookiesMiddleware

和

SplashMiddleware

？还有一个

DUPEFILTER\u类

，您也设置了吗？问题是，当您启动启动启动实例和服务器时，实例的IP会发生更改，它不再是本地主机。。。固定或单独使用splash模块，如果运行本地环境，则internel网络映射不同。。很确定这就是问题所在。如果我有一个干净的ubuntu服务器，我应该提供什么ip来让spider工作？您是否启用了

SplashDeduplicateArgsMiddleware

、

SplashCookiesMiddleware

和

SplashMiddleware

？还有一个

DUPEFILTER\u类

，您也设置了吗？问题是，当您启动启动启动实例和服务器时，实例的IP会发生更改，它不再是本地主机。。。固定或单独使用splash模块，如果运行本地环境，则internel网络映射不同。。很确定这就是问题所在。如果我有一个干净的ubuntu服务器，我应该提供什么ip来让蜘蛛正常工作？