Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/facebook/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Facebook开放图形抓取URL_Facebook_Url_Redirect_Facebook Opengraph_Scraper - Fatal编程技术网

Facebook开放图形抓取URL

Facebook开放图形抓取URL,facebook,url,redirect,facebook-opengraph,scraper,Facebook,Url,Redirect,Facebook Opengraph,Scraper,我正在尝试开发“想要”和“自己的”按钮 如果我使用,它告诉我最终的URL是主页,这是因为页面被重定向了,这是我不想要的。我希望抓取的URL被刮取 由于最终URL不是项目页面,因此刮取的信息不正确,调试工具抱怨缺少元数据等。我相信项目页面上有正确的信息,但由于重定向,解析了不正确的信息 我的问题是: 1) 为什么会这样答:后面的斜杠打破了我们的ISAPI规则 2) 我怎么修理它答:删除尾部斜杠或更新ISAPI规则 3) 我可以强制刮板使用特定的URL并忽略任何重定向吗?我正在使用asp.net,因

我正在尝试开发“想要”和“自己的”按钮

如果我使用,它告诉我最终的URL是主页,这是因为页面被重定向了,这是我不想要的。我希望抓取的URL被刮取

由于最终URL不是项目页面,因此刮取的信息不正确,调试工具抱怨缺少元数据等。我相信项目页面上有正确的信息,但由于重定向,解析了不正确的信息

我的问题是:

1) 为什么会这样答:后面的斜杠打破了我们的ISAPI规则

2) 我怎么修理它答:删除尾部斜杠或更新ISAPI规则

3) 我可以强制刮板使用特定的URL并忽略任何重定向吗?我正在使用asp.net,因此任何示例都将不胜感激

正确的页面以前被刮过,但现在没有,我真的不知道是什么改变了这一点


提前感谢。

根据调试工具,当Facebook试图刮取您的页面时,页面上有一个302重定向

URL已删除


您需要找出发生这种情况的原因并禁用它。这导致Facebook抓取了错误的URL。一旦修复,您的页面应该被正确地刮取。

尝试使用完全相同的文件进行进一步的测试,但在不同的域上,我会得到不同的结果。这可能是Facebook仪表板上应用程序设置的结果吗?已修复。尾随的“/”导致ISAPI崩溃。FB每次找到一个后,都会继续爬行到下一个
og:url
。这有时是个问题