Php 在子目录中创建的无限多页
我正试图弄清莫兹的爬虫被卡住的问题的真相。我们需要解决的简单问题是,我们有相同页面的副本,即:Php 在子目录中创建的无限多页,php,html,regex,.htaccess,url,Php,Html,Regex,.htaccess,Url,我正试图弄清莫兹的爬虫被卡住的问题的真相。我们需要解决的简单问题是,我们有相同页面的副本,即: /capabilities/ /capabilities/index.html 这个问题发生在少数几个或几个目录中。但是,我们也有一个问题,似乎正在形成一个可以访问的页面的无限循环,只针对这个子目录: /customer_service.html/ /customer_service.html/contact/index.html /customer_service.html/conta
/capabilities/
/capabilities/index.html
这个问题发生在少数几个或几个目录中。但是,我们也有一个问题,似乎正在形成一个可以访问的页面的无限循环,只针对这个子目录:
/customer_service.html/
/customer_service.html/contact/index.html
/customer_service.html/contact_us/contact_form.php
/customer_service.html/contact/contact/contact/contact/index.html
/customer_service.html/contact/contact/contact_us/contact_form.php
/customer_service.html/contact_us/contact/contact/contact/index.html
/customer_service.html/contact_us/contact/contact/contact_us/contact_form.php
/customer_service.html/contact/contact_us/contact/contact_us/contact_us/contact/index.html
不停地,不停地。。。我认为它停止爬行只是因为它达到了24000页。所有这些页面实际上都可以工作。实际上只需要两页:一页用于客户服务常见问题解答,另一页用于联系公司
我是一名营销人员,而不是开发人员,所以我只知道这是一个问题。我想知道我们是否可以使用htaccess解决这个问题,或者是否还有其他问题。在我看来,所有这些页面都需要删除,而不仅仅是重定向。谢谢
编辑:添加更多示例,用于说明和喜剧目的有两件事要做 一个是,就像你说的,不允许这些URL重定向到主页。显示您的.htaccess文件中的内容,我将查看您如何更改它
另一方面,仅仅解决症状是不够的。你必须治愈疾病。这意味着你的网站上有一些不正确的链接。很可能是缺少初始斜杠的相对URL(contact而不是/contact) 我们至少修改了一个内部链接,这似乎足以让Moz的爬虫停止对重复内容发出警报。。。但是那些疯狂的URL仍然有效。足够好吗?我会改变.htaccess的方式,使这些链接无效。