Facebook开放图形抓取URL
我正在尝试开发“想要”和“自己的”按钮 如果我使用,它告诉我最终的URL是主页,这是因为页面被重定向了,这是我不想要的。我希望抓取的URL被刮取 由于最终URL不是项目页面,因此刮取的信息不正确,调试工具抱怨缺少元数据等。我相信项目页面上有正确的信息,但由于重定向,解析了不正确的信息 我的问题是: 1) 为什么会这样答:后面的斜杠打破了我们的ISAPI规则 2) 我怎么修理它答:删除尾部斜杠或更新ISAPI规则 3) 我可以强制刮板使用特定的URL并忽略任何重定向吗?我正在使用asp.net,因此任何示例都将不胜感激 正确的页面以前被刮过,但现在没有,我真的不知道是什么改变了这一点Facebook开放图形抓取URL,facebook,url,redirect,facebook-opengraph,scraper,Facebook,Url,Redirect,Facebook Opengraph,Scraper,我正在尝试开发“想要”和“自己的”按钮 如果我使用,它告诉我最终的URL是主页,这是因为页面被重定向了,这是我不想要的。我希望抓取的URL被刮取 由于最终URL不是项目页面,因此刮取的信息不正确,调试工具抱怨缺少元数据等。我相信项目页面上有正确的信息,但由于重定向,解析了不正确的信息 我的问题是: 1) 为什么会这样答:后面的斜杠打破了我们的ISAPI规则 2) 我怎么修理它答:删除尾部斜杠或更新ISAPI规则 3) 我可以强制刮板使用特定的URL并忽略任何重定向吗?我正在使用asp.net,因
提前感谢。根据调试工具,当Facebook试图刮取您的页面时,页面上有一个302重定向
URL已删除
您需要找出发生这种情况的原因并禁用它。这导致Facebook抓取了错误的URL。一旦修复,您的页面应该被正确地刮取。尝试使用完全相同的文件进行进一步的测试,但在不同的域上,我会得到不同的结果。这可能是Facebook仪表板上应用程序设置的结果吗?已修复。尾随的“/”导致ISAPI崩溃。FB每次找到一个后,都会继续爬行到下一个
og:url
。这有时是个问题