Fatal编程技术网
  • redirect/
  • Redirect 如何使用重定向链接刮取目录

Redirect 如何使用重定向链接刮取目录

redirect web-scraping

Redirect 如何使用重定向链接刮取目录,redirect,web-scraping,dataminer,Redirect,Web Scraping,Dataminer,我使用Data Miner在网站上搜索目录。目录中的链接都是带有重定向的内部链接。我的困境的一个例子是： Mickey Mouse | example.com/mickey-mouse (which redirects to mickeymouse.com) Minnie Mouse | example.com/minnie-mouse (which redirects to minniemouse.com) Donald Duck | example.com/donald-duck (whic

我使用Data Miner在网站上搜索目录。目录中的链接都是带有重定向的内部链接。我的困境的一个例子是：

Mickey Mouse | example.com/mickey-mouse (which redirects to mickeymouse.com)
Minnie Mouse | example.com/minnie-mouse (which redirects to minniemouse.com)
Donald Duck | example.com/donald-duck (which redirects to donaldduck.com)
Goofy | example.com/goofy (which redirects to goofy.com)
有没有一种方法可以将重定向链接添加到Data Miner，或者以某种方式以编程方式自动执行重定向，这样我就可以使用
米老鼠行
拉入
米老鼠.com