Curl 跟踪所有重定向(包括元刷新/javascript重定向)的最佳工具?

Curl 跟踪所有重定向(包括元刷新/javascript重定向)的最佳工具?,curl,redirect,Curl,Redirect,当前的实现是curl。Curl似乎并没有遵循所有重定向,我正在尝试确定重定向序列中的最后一页。寻求新的选择 完整扫描应在3-5秒内完成 重定向是302、301、元刷新和javascript重定向的混合。它们通常串在一起,混合不同的类型,唯一的目的是阻止爬虫,但允许合法的浏览器看到最终的站点 这是钓鱼电子邮件中常见的混淆技术。他们可能使用谷歌搜索结果重定向,然后指向Yandex重定向,指向最终目的地 我并不是在尝试抓取内容,只是为了确定重定向链中的跳数,以及最终的url,以便提交进行评估 我们已经

当前的实现是curl。Curl似乎并没有遵循所有重定向,我正在尝试确定重定向序列中的最后一页。寻求新的选择

完整扫描应在3-5秒内完成

重定向是302、301、元刷新和javascript重定向的混合。它们通常串在一起,混合不同的类型,唯一的目的是阻止爬虫,但允许合法的浏览器看到最终的站点

这是钓鱼电子邮件中常见的混淆技术。他们可能使用谷歌搜索结果重定向,然后指向Yandex重定向,指向最终目的地

我并不是在尝试抓取内容,只是为了确定重定向链中的跳数,以及最终的url,以便提交进行评估

我们已经尝试并遵循了Curl,但链中每种类型的文档的技术都有所不同

我尝试的结果是遵循以下链:

  • 301
  • 302
  • 303
  • 307
  • 308
  • 元刷新
  • Javascript重定向
  • 谷歌结果页面重定向
  • Yandex重定向
  • 电子邮件提供商跟踪链接重定向
  • 我们经常看到这样的事情

    电子邮件联系人链接:

    链接类型及其重定向到下一跳的方式

    1--->6--->9--->7--->最终目的地


    我试图确定的是每个步骤的url,然后是在浏览器中看到的最终url。

    在第6点之前,您可以使用curl。特别是从第7点开始,你陷入了一片混乱。我看到的最好的方法是使用无头浏览器重新开发代码

    谷歌浏览器(以及其他浏览器)支持这一点:

    它将自然地跟随重定向,并且您可以使用基于节点的工具与它交互