Url rewriting Robots Meta Tag No Index是否删除索引URL';s

Url rewriting Robots Meta Tag No Index是否删除索引URL';s,url-rewriting,seo,duplicate-removal,google-webmaster-tools,Url Rewriting,Seo,Duplicate Removal,Google Webmaster Tools,我们有一个大约15000页的应用程序。为了更好的搜索引擎优化的原因,我们不得不改变网址的。谷歌此前已经对所有这些页面进行了爬网,由于这一变化,我们在网站管理员身上看到了许多重复的标题/元描述。我们对谷歌的印象已经下降,我们相信这就是原因。如果我的假设不正确,请纠正我。现在我们无法使用301重定向为URL的更改编写正则表达式,因为更改是这样的。唯一的方法是为单个URL编写301重定向,这对于10000个URL是不可行的。现在我们可以将robots元标记与NOINDEX一起使用了吗我的问题基本上是,

我们有一个大约15000页的应用程序。为了更好的搜索引擎优化的原因,我们不得不改变网址的。谷歌此前已经对所有这些页面进行了爬网,由于这一变化,我们在网站管理员身上看到了许多重复的标题/元描述。我们对谷歌的印象已经下降,我们相信这就是原因。如果我的假设不正确,请纠正我。现在我们无法使用301重定向为URL的更改编写正则表达式,因为更改是这样的。唯一的方法是为单个URL编写301重定向,这对于10000个URL是不可行的。现在我们可以将robots元标记与NOINDEX一起使用了吗我的问题基本上是,如果我写一个NOINDEX元标记,google会删除已经索引的URL吗?如果不会,还有什么其他方法可以从google中删除旧的索引URL?我可以做的另一件事是使前面的所有页面都出现404错误,以避免重复,但这是正确的做法吗?

重新编制索引很慢

不管怎么说,谷歌都需要数周的时间才能忽略旧的URL

使用Htaccess 301重定向

您可以在Apache服务器上添加一个名为
.htaccess
的文件,该文件能够列出所有旧URL和新URL,并让用户立即重定向到新页面。你能生成这样一个文本文件吗?我相信你可以在你的应用程序或任何东西中循环浏览各个部分,并生成一个URL列表

使用以下语法

 Redirect 301 /oldpage.html http://www.yoursite.com/newpage.html 
 Redirect 301 /oldpage2.html http://www.yoursite.com/folder/
这可以防止404文件未找到错误,并且比元刷新或重定向标记更好,因为旧页面甚至没有提供给客户端

我这样做是为了一个最近升级过的网站,由于谷歌一直指向旧文件,我们需要重定向客户端以查看新内容

.htaccess在哪里?

转到站点的根文件夹,创建/下载
.htaccess
文件到本地计算机,并使用纯文本编辑器(即记事本)进行编辑。如果您正在使用FTP客户端软件,但在服务器上看不到任何.htaccess文件,请确保您正在查看不可见的/system文件

现在我们无法编写正则表达式来更改 URL使用301重定向,因为更改是这样的。唯一的办法 要做到这一点,需要为单个URL编写301重定向,这是 不适用于10000个URL

你当然可以!我用mod_rewrite和RewriteMap重写了15000多个URL! 这只是编写脚本/回显所有URL和掌握vim的问题,但是您可以轻松地完成。如果你需要更多的信息,尽管问

你能做的是重写一张像这样的地图:

/baskinrobbins/branch/branch1/ /baskinrobbins/branch/Florida/Jacksonville/branch1
我已经给出了一个巨大的答案,你可以很容易地根据自己的需要进行调整


我最多可以在1-2小时内完成这项工作,但我的成本很高

您好@Geotarget,谢谢您的回复。然而,编写301重定向是不可行的,因为它是一个动态应用程序,每天都会添加页面,而且更改是这样的,因此为所有这些更改编写正则表达式实际上是不可能的。编写301重定向的唯一方法是手动编写超过10000页的重定向,这将是一个真正的痛苦。我们必须查看每个url,以检查是否需要301。你说过“你能生成这样一个文本文件吗?我相信你可以在你的应用程序或任何东西中循环浏览各个部分并生成url列表。”但我不知道如何做。如果您能进一步解释如何生成URL,我将不胜感激。谢谢,让我举个例子:我之前的一个url是/baskinrobbins/branch/branch1/,现在改为/baskinrobbins/branch/Florida/Jacksonville/branch1/。现在,如果我不能根据/baskinrobbins/branch/branch1/确定城市和地区,除非我点击服务器端代码,那么我如何编写重定向规则。编辑了我的答案。希望这有帮助。如果你想联系我,请不要犹豫在我的博客上留言。我想我现在不清楚巴斯金罗宾斯/巴斯金罗宾斯/布兰奇/布兰奇1/必须重定向到/巴斯金罗宾斯/布兰奇/佛罗里达/杰克逊维尔/布兰奇1/但可能对于肯德基/肯德基/布兰奇/布兰奇1/必须重定向到/肯德基/布兰奇/纽约/特拉华/布兰奇1,这意味着一个正则表达式无法写入,而且如果我必须手动重写每个url,我无法生成一些文件并执行此操作。我将不得不手动检查每个URL,看看它应该重定向到哪个URL,然后再这样做。绝对不是一个1-2小时的工作:(我不知道你的全部内容,但是一个很好的sql查询,输出到一个文件,然后大量使用带有
vim
的宏总是比预期的快。也许不是1-2小时,但我很确定几个小时就可以完成。让我们聊聊,我看看我能做什么
;)
我们是一家没有资金的小型初创公司:(因此,我认为我负担不起你的费用。但是,对于实际问题的一些见解,我们将不胜感激:我的问题基本上是,如果我为所有旧URL编写NOINDEX元标记,google会删除已经索引的URL吗?