Seo 允许搜索引擎对网站进行爬网的最佳方法

谢谢你阅读我的问题。我正在建立一个网站，将列出每个制造商的产品。我计划将URL结构如下：

www.mysite.com/manufacturer\u name/product\u name/product\u id

www.mysite.com/product\u name/product\u id

www.mysite.com/manufacturer\u name

有数以百万计的产品，我希望所有主要的搜索引擎都能抓取它们。做这件事最好的方法是什么

仅仅向所有搜索引擎提交站点就足够了吗？我假设如果我提交制造商页面，其中列出所有制造商名称作为链接，搜索引擎将单击每个链接并单击每个制造商链接中显示的所有产品（我将对产品进行分页）因此，搜索引擎可以在每个制造商的网站上搜寻更多的产品，直到页面号用完为止

这是否足以列出每个搜索引擎上的每个产品？还是有更好的新方法？可能有新的搜索引擎优化技巧，我不知道。我希望你能给我指出正确的方向

我以前使用robot.txt告诉搜索引擎要抓取哪些页面，这似乎很好

谢谢，

---

错误的编码提交XML站点地图。最简单的方法是在robots.txt文件中链接到它

robots.txt文件示例：

Sitemap: http://example.com/sitemap_location.xml

---

有关此主题的更多信息，请参见Google

我是否在sitemap.xml中列出所有prodcuts？或者仅仅是一个或两个URL就可以将他们引导到制造商页面？