将robots.txt添加到我的Django应用程序中是否是被Google列出的方式？

我在linux服务器上有一个网站（Django），但Google根本找不到这个网站。我知道服务器上没有

robots.txt

文件。有人能告诉我如何创建一个，里面写什么以及放在哪里吗？那将是一个很大的帮助

robot txt不适用于google查找您的站点。我认为您必须将您的站点注册到google，并添加sitemap.xml

• 网站管理员工具-爬网URL->

也可以在robot.txt中看到这一点

• 向Django项目| fredericiana添加robots.txt的三种方法 ->

什么是robot.txt

当搜索引擎经常访问您的网站并为您的内容编制索引时，这是非常好的，但在某些情况下，为您的在线内容的部分编制索引并不是您想要的。例如，如果一个页面有两个版本（一个用于在浏览器中查看，另一个用于打印），则最好将打印版本排除在爬网之外，否则可能会受到重复内容惩罚。此外，如果您的站点上碰巧有您不想让全世界看到的敏感数据，您也会希望搜索引擎不为这些页面编制索引（尽管在这种情况下，唯一确定的不为敏感数据编制索引的方法是将其放在单独的机器上脱机）。此外，如果您想通过将图像、样式表和javascript排除在索引之外来节省一些带宽，那么还需要一种方法来告诉爬行器远离这些项目

告诉搜索引擎要避免网站上的哪些文件和文件夹的一种方法是使用Robots元标记。但由于并非所有搜索引擎都读取元标记，因此机器人matatag可能根本不会被注意到。告诉搜索引擎你的意愿的更好方法是使用robots.txt文件

---

从What is Robots.txt->

robot.txt文件用于告诉搜索引擎哪些内容应该或不应该被索引。robot.txt文件不需要通过搜索引擎进行索引

关于被搜索引擎索引，有很多事情需要注意

• 不能保证你会被编入索引
• 索引需要时间，一个月，两个月，6个月
• 要更快地建立索引，请尝试通过博客评论等方式共享站点链接，以增加被发现的机会
• 通过网站提交你的网站，这也会给你提示和提示，使你的网站更好，以及爬行统计

---

robots.txt的位置与view.py相同，此代码

鉴于

 def robots(request):      
        import os.path
        BASE = os.path.dirname(os.path.abspath(__file__))
        json_file = open(os.path.join(BASE , 'robots.txt'))    
        json_file.close() 
        return HttpResponse(json_file);

在url中

 (r'^robots.txt', 'aktel.views.robots'), 

---

非常感谢，伙计。学会了一个新东西！：）。我不是搜索引擎优化大师，但无论如何，我知道的东西很好。关于敏感内容的一点太差了，它会影响其他内容。恶意访问者在攻击新网站时首先会看到的地方之一是

robots.txt

，特别是因为人们试图用它来“保护”敏感信息。@Damien_不信者是的，但许多攻击者通过搜索引擎找到网站。类似于管理面板和…；）我认为robot.txt的使用有一个折衷的地方，回到这里，因为我最终使用了这个答案的一个版本来解决我的问题——你关闭了json_文件，这个变量，而不是robots.txt文件，所以它在关闭的文件异常上抛出了一个i/O错误。如果关闭robots.txt文件，它可以正常工作。