Seo 在robots.txt中指定变量

我的URL结构设置为两个平行（都指向同一个位置）：

• www.example.com/subname

• www.example.com/123

问题是，蜘蛛正在爬行，比如：

• www.example.com/subname/default\u media\u函数

• www.example.com/subname/map\u函数

请注意，名称“subname”表示我的站点上数千个不同的页面，它们都具有相同的功能

他们抛出了错误，因为这些链接严格用于JSON或AJAX目的，而不是实际的链接。我想阻止他们访问这些页面，但是如果URL包含一个变量，我该怎么做呢

这在robots.txt中可以工作吗

Disallow: /map_function

---

你将不得不这样做

Disallow: /subname/map_function

机器人将在根级别查找robots.txt。在这里，它们从左到右计算URL，不使用通配符

---

因此，您需要为所有map_函数创建一个位置并排除该位置，或者排除所有位置。

此位置肯定有效不允许：/map_函数/为什么要将其作为答案？如果这是真的，我会相信你：人们动态地生成机器人脚本是常见的吗？因为var“subname”表示数千个不同的页面，每个页面都具有相同的函数。我只是担心制造一个巨大的机器人。TXT我想你不必太担心它的尺寸。最好的办法是找到一种方法，将所有元素放入一个目录中，然后排除该目录。。。不允许：/subname/restrict/或类似的东西，这样可以省去你在robot.txt上的麻烦。然而，你也可以动态地做它，它的创建方式对机器人来说并不重要。您可能会考虑使用#来指定参数，jquery会对其进行操作。我想机器人不会注意主持人的，我能照@Kaaviar上面说的做吗？只是不允许：/map\u函数/或*/map\u函数/？*是一个通配符，这可以在google或更大的引擎上使用，但不能在较小的引擎上使用，因为它不是标准的一部分。搜索引擎从左到右读取robot.txt文件。so/map\u function/与so相同，因此不会停止它。这就是为什么如果你能找到一种方法来整合map_函数，它自己的目录或路径在子名称中是相同的，那么你可以通过简单地限制这一条路径来防止索引变得更容易。