Fatal编程技术网
  • web/
  • Web 拉网终点

Web 拉网终点

web web-scraping

Web 拉网终点,web,web-scraping,Web,Web Scraping,您好，我想知道如何找到存储产品URL的网站的隐藏端点 我试图获得该网站的网站地图，但该网站要么没有，要么它是隐藏的，我找不到它。也找 我希望有人能帮助我或为我指明正确的方向从您正在爬行的服务器请求一个有用的资源是/robots.txt。大多数主机都会提供此文件，它会告诉您的爬虫允许它去哪里。我已经尝试过了，但此网站中没有任何有用的信息。您可以共享它吗？是的，它没有这样的页面这就是问题所在

您好，我想知道如何找到存储产品URL的网站的隐藏端点

我试图获得该网站的网站地图，但该网站要么没有，要么它是隐藏的，我找不到它。也找

我希望有人能帮助我或为我指明正确的方向

从您正在爬行的服务器请求一个有用的资源是
/robots.txt
。大多数主机都会提供此文件，它会告诉您的爬虫允许它去哪里。

我已经尝试过了，但此网站中没有任何有用的信息。您可以共享它吗？是的，它没有这样的页面这就是问题所在