- scrapy/
- Scrapy 内容安全策略存在问题,并出现碎片和飞溅
Scrapy 内容安全策略存在问题,并出现碎片和飞溅
Scrapy 内容安全策略存在问题,并出现碎片和飞溅,scrapy,scrapy-splash,splash-js-render,Scrapy,Scrapy Splash,Splash Js Render,我正在做的是
谷歌搜索一些linkedin特定的链接
登录linkedin.com(成功)
重新访问主页(此处失败)
从我第一步搜索的链接中提取一些所需的信息
我的scrapy机器人在第3步失败。所以我的问题是,有没有办法绕过这个内容安全策略?如果是,请详细分享您的想法,谢谢
谷歌给我指出的一个相关问题是
而且,这是没有帮助的,因为它没有提供任何有关代理设置的详细信息
2017-12-29 10:59:47[scrapy_splash.middleware]警告:对的请求不正确
Splash:{
我正在做的是
谷歌搜索一些linkedin特定的链接
登录linkedin.com(成功)
重新访问主页(此处失败)
从我第一步搜索的链接中提取一些所需的信息
我的scrapy机器人在第3步失败。所以我的问题是,有没有办法绕过这个内容安全策略?如果是,请详细分享您的想法,谢谢
谷歌给我指出的一个相关问题是
而且,这是没有帮助的,因为它没有提供任何有关代理设置的详细信息
2017-12-29 10:59:47[scrapy_splash.middleware]警告:对的请求不正确
Splash:{u'info':{u'source':u'[string”…“]',u'message':u'Lua
错误:[字符串“…”]:32:JavaScript错误:EvalError:拒绝
将字符串评估为JavaScript,因为“safe-eval”不是
以下内容安全策略中允许的脚本源
指令:“脚本src\'report-sample\'
\'sha256-[修订…]=\'
\“不安全内联\”static.licdn.com s.c.lnkd.licdn.com
static-fstl.licdn.com static-src.linkedin.com
static-exp1.licdn.com
static-exp2.licdn.com s.c.exp1.licdn.com s.c.exp2.licdn.com
static-lcdn.licdn.com s.c.lcdn.licdn.com
“\n',u'type':
u'LUA_ERROR',u'line_number':32,u'ERROR':u'JavaScript错误:
EvalError:拒绝将字符串作为JavaScript求值,因为
\“不安全评估\”不是以下脚本中允许的脚本源
内容安全策略指令:“script src\'report-sample\'
\'sha256-[修订…]=\'
\“不安全内联\”static.licdn.com s.c.lnkd.licdn.com
static-fstl.licdn.com static-src.linkedin.com
static-exp1.licdn.com
static-exp2.licdn.com s.c.exp1.licdn.com s.c.exp2.licdn.com
static-lcdn.licdn.com s.c.lcdn.licdn.com
“'},u'type':
u'ScriptError',u'description':执行Lua时发生u'错误
脚本',u'error':400}2017-12-29 10:59:47[scrapy.core.engine]
调试:已爬网(400)https://www.linkedin.com/feed/ 通过
>(参考:无)2017-12-29 10:59:47
[scrapy.SpiderMiddleware.httperror]信息:忽略响应:HTTP状态代码未处理或
不准
你看过这个问题吗?@Casper我在我的问题中已经把它联系了起来,虽然这似乎没有什么帮助,但给方程增加了额外的复杂性