允许web爬行器访问Symfony中受限制的页面
如何允许网络爬虫访问Symfony中的受限页面允许web爬行器访问Symfony中受限制的页面,symfony,web-crawler,symfony-security,Symfony,Web Crawler,Symfony Security,如何允许网络爬虫访问Symfony中的受限页面 我认为IP列表应该允许这样做，但是如何验证它们呢？为什么这些页面受到限制？似乎有点矛盾。他们需要抓取什么？这些页面是为用户提供的，但我们需要网络爬虫可以访问其中的一部分，如果他们有角色_crawler。如果你向Google Bot显示与匿名用户不同的内容，Google将惩罚你，甚至将你的页面从名单中删除。如果您对设置（新闻）内容的付费墙感兴趣，请查看
我认为IP列表应该允许这样做，但是如何验证它们呢？为什么这些页面受到限制？似乎有点矛盾。他们需要抓取什么？这些页面是为用户提供的，但我们需要网络爬虫可以访问其中的一部分，如果他们有角色_crawler。如果你向Google Bot显示与匿名用户不同的内容，Google将惩罚你，甚至将你的页面从名单中删除。如果您对设置（新闻）内容的付费墙感兴趣，请查看