Scrapy 内容安全策略存在问题,并出现碎片和飞溅

Scrapy 内容安全策略存在问题,并出现碎片和飞溅,scrapy,scrapy-splash,splash-js-render,Scrapy,Scrapy Splash,Splash Js Render,我正在做的是 谷歌搜索一些linkedin特定的链接 登录linkedin.com(成功) 重新访问主页(此处失败) 从我第一步搜索的链接中提取一些所需的信息 我的scrapy机器人在第3步失败。所以我的问题是,有没有办法绕过这个内容安全策略?如果是,请详细分享您的想法,谢谢 谷歌给我指出的一个相关问题是 而且,这是没有帮助的,因为它没有提供任何有关代理设置的详细信息 2017-12-29 10:59:47[scrapy_splash.middleware]警告:对的请求不正确 Splash:{

我正在做的是

  • 谷歌搜索一些linkedin特定的链接
  • 登录linkedin.com(成功)
  • 重新访问主页(此处失败)
  • 从我第一步搜索的链接中提取一些所需的信息
  • 我的scrapy机器人在第3步失败。所以我的问题是,有没有办法绕过这个内容安全策略?如果是,请详细分享您的想法,谢谢

    谷歌给我指出的一个相关问题是 而且,这是没有帮助的,因为它没有提供任何有关代理设置的详细信息

    2017-12-29 10:59:47[scrapy_splash.middleware]警告:对的请求不正确 Splash:{u'info':{u'source':u'[string”…“]',u'message':u'Lua 错误:[字符串“…”]:32:JavaScript错误:EvalError:拒绝 将字符串评估为JavaScript,因为“safe-eval”不是 以下内容安全策略中允许的脚本源 指令:“脚本src\'report-sample\' \'sha256-[修订…]=\' \“不安全内联\”static.licdn.com s.c.lnkd.licdn.com static-fstl.licdn.com static-src.linkedin.com static-exp1.licdn.com static-exp2.licdn.com s.c.exp1.licdn.com s.c.exp2.licdn.com static-lcdn.licdn.com s.c.lcdn.licdn.com “\n',u'type': u'LUA_ERROR',u'line_number':32,u'ERROR':u'JavaScript错误: EvalError:拒绝将字符串作为JavaScript求值,因为 \“不安全评估\”不是以下脚本中允许的脚本源 内容安全策略指令:“script src\'report-sample\' \'sha256-[修订…]=\' \“不安全内联\”static.licdn.com s.c.lnkd.licdn.com static-fstl.licdn.com static-src.linkedin.com static-exp1.licdn.com static-exp2.licdn.com s.c.exp1.licdn.com s.c.exp2.licdn.com static-lcdn.licdn.com s.c.lcdn.licdn.com “'},u'type': u'ScriptError',u'description':执行Lua时发生u'错误 脚本',u'error':400}2017-12-29 10:59:47[scrapy.core.engine] 调试:已爬网(400)https://www.linkedin.com/feed/ 通过 >(参考:无)2017-12-29 10:59:47 [scrapy.SpiderMiddleware.httperror]信息:忽略响应:HTTP状态代码未处理或 不准


    你看过这个问题吗?@Casper我在我的问题中已经把它联系了起来,虽然这似乎没有什么帮助,但给方程增加了额外的复杂性