Php 基于是否已看到的筛选链接

我正在构建一个简单的网络爬虫，并尝试根据以前是否见过链接来过滤链接。问题是链接可能是相同的，但带有正斜杠，参数是相同的。我还想过滤掉发送给的邮件。是否有任何已知的、直接的方法可以做到这一点？我目前在pHp工作

编辑： 查看以下内容后，我使用Net_URL2.php对URL进行了规范化：

---

简而言之，答案是否定的，没有直接的方法可以做到这一点。请仔细阅读，找出难以实现这一目标的原因

简而言之，答案是否定的，没有直接的方法可以做到这一点。请仔细阅读，找出难以实现这一目标的原因

我不知道这个术语。结果发现此项：。工作，现在。不知道技术术语。结果发现此项：。工作，现在。