Asp.net 如何让搜索引擎在我的网站上抓取成千上万的页面

我有大量的项目，每个项目都有这样一个页面/item\u show.aspx？id=The\u id\u这里有数以万计的项目，每天都有近两千个项目被添加。此外，每个项目在其页面中都有一个描述，因此对于每个项目，搜索引擎应该对其页面进行爬网

我的问题是关于所描述的大量数据：如何生成网站地图或类似的东西，使所有项目都能被谷歌和其他搜索引擎看到

---

很明显，我不能在第一页中显示所有项目，但我可以制作只包含项目链接的页面，并为搜索引擎提供每页数十个项目。要让项目被谷歌索引，它会起作用吗？还是更好呢？

首先，使用XML站点地图并将其提交给谷歌（注意，我说的站点地图不止一个）

接下来，确保您的网站内容被很好地组织成类别和子类别——理想情况下，您希望所有元素都能在尽可能少的点击次数下访问，而用户（或谷歌机器人）不必求助于搜索功能

---

最后，确保主页上有你比较受欢迎/重要的项目，或点击1-2次，并获得这些特定产品页面的链接和社会共享。

受欢迎并获得你网站的链接。有一个好的服务器可以处理爬网

我们的爬行也没有严格的限制。最好的思考方式 关于这一点，我们抓取的页面数量大约是 与你的排名成比例。因此，如果你有很多传入的链接 在你的根页面上，我们肯定会抓取它。然后是你的根页面 可以链接到其他页面，这些页面将获得PageRank，我们将爬行 那些也是。然而，随着你的网站越来越深入， PageRank倾向于下降

---

基本上有3种方法可以帮助您建立海量索引： 1.为所有页面创建XML站点地图，并从主页链接到它。 2.您应该安装Google Webmaster工具，并且可以将相同的XML文件加载到其中。

---

3.有一个有组织的类别结构-根据你网站的类型，考虑一个逻辑类别结构，例如在电子商务商店中，所有产品都是按产品主类别分类，然后是产品子类别，有时是按品牌分类等等当然，你应该通过你的购物车平台来实现这一点——只要记住，如果你开始改变URL结构，你就需要处理从旧URL到新URL的所有重定向。

如果每天添加2000个URL，那么该站点肯定应该有超过1个XML站点地图。一旦你跨过10万个URL，你就应该创建一个新的网站地图