Curl 跟踪所有重定向(包括元刷新/javascript重定向)的最佳工具?
当前的实现是curl。Curl似乎并没有遵循所有重定向,我正在尝试确定重定向序列中的最后一页。寻求新的选择 完整扫描应在3-5秒内完成 重定向是302、301、元刷新和javascript重定向的混合。它们通常串在一起,混合不同的类型,唯一的目的是阻止爬虫,但允许合法的浏览器看到最终的站点 这是钓鱼电子邮件中常见的混淆技术。他们可能使用谷歌搜索结果重定向,然后指向Yandex重定向,指向最终目的地 我并不是在尝试抓取内容,只是为了确定重定向链中的跳数,以及最终的url,以便提交进行评估 我们已经尝试并遵循了Curl,但链中每种类型的文档的技术都有所不同 我尝试的结果是遵循以下链:Curl 跟踪所有重定向(包括元刷新/javascript重定向)的最佳工具?,curl,redirect,Curl,Redirect,当前的实现是curl。Curl似乎并没有遵循所有重定向,我正在尝试确定重定向序列中的最后一页。寻求新的选择 完整扫描应在3-5秒内完成 重定向是302、301、元刷新和javascript重定向的混合。它们通常串在一起,混合不同的类型,唯一的目的是阻止爬虫,但允许合法的浏览器看到最终的站点 这是钓鱼电子邮件中常见的混淆技术。他们可能使用谷歌搜索结果重定向,然后指向Yandex重定向,指向最终目的地 我并不是在尝试抓取内容,只是为了确定重定向链中的跳数,以及最终的url,以便提交进行评估 我们已经
我试图确定的是每个步骤的url,然后是在浏览器中看到的最终url。在第6点之前,您可以使用curl。特别是从第7点开始,你陷入了一片混乱。我看到的最好的方法是使用无头浏览器重新开发代码 谷歌浏览器(以及其他浏览器)支持这一点:
它将自然地跟随重定向,并且您可以使用基于节点的工具与它交互