C# 创建AJAX类型的链接列表，供设备通过谷歌搜索

我们有一个庞大的网络内容集合，我们想让Google Appliance搜索这些内容，但我们有一个相当复杂的列表，列出我们想要的和不想要的内容。因为很多内容都是类似AJAX的，仅仅让Google进行搜索并不是一个解决方案。相反，我们有一个经典的ASP页面，它使用Scripting.FileSystemObject在所有目录和文件中循环，排除/包括文件/文件夹，并在页面中生成一个巨大的超链接列表，然后Google可以进行查询。这个过程非常慢（20分钟或更长），但现在我们可以在dotnet服务器上移动这个过程

我正在做一点探索，想知道人们可能发现了哪些解决方案对这类事情有用。我们正在探索Microsoft.Web.Administration和其他任何可以提高效率的方法，包括将结果列表写入html文件

有这方面经验的人对如何处理这一问题有什么建议吗

---

提前感谢。

根据文档，设备服务器遵循robots.txt。您应该能够将其复制到站点的根目录，并将其配置为不允许对特定文件夹或扩展进行索引。

谢谢。我们知道这一点，但这完全没有抓住重点。包括我们自己在内的许多人之所以使用AJAX，是因为动态生成的内容——如果您正在寻找最终合并的内容，那么这些内容的爬行能力不强。您调查过吗？我对它不熟悉，但它看起来可能是一个可行的解决方案。谢谢。这是一个很酷的工具。最后，我们修改了.asp页面，并使用robots.txt.Sure为谷歌设备添加了更多规则，希望能有所帮助。传统ASP页面的另一种选择可能是创建一个.NET控制台应用程序，以类似的方式迭代文件系统，并生成GAS可以索引的静态HTML页面。根据我的经验，用于与文件系统交互的.NET类比

Scripting.FileSystemObject

更易于使用和效率更高，这正是我想要的。我的假设是编译后的应用程序将比.asp页面快得多。再次感谢你。