如何从一个网站获取所有的Web链接？

我想得到网站上所有的链接。而且，如果任何新的帖子被添加到网站上，我应该能够得到链接。我将有10个网站和链接提取过程需要定期运行列表

---

有人能帮助我如何只获取帖子链接和添加的新帖子链接吗。

我建议编写一个php脚本，因为您提到了由cron作业定期调用的php。在脚本中，您可以

选项1：定义一个curl命令，它自动获取一个url的所有内容。如果您必须使用post方法向网站发送一些信息，可能会更好

选项2：使用文件获取内容功能获取所有内容

然后，您可以使用正则表达式解析这些结果，以提取您感兴趣的部分，例如，搜索类似。。。。之后，您可以将信息添加到数据库中，或者只是检查信息是否已经存在