Caching 将网页内容保存到数据库以便缓存的更好方法

Caching 将网页内容保存到数据库以便缓存的更好方法,caching,.net-4.0,compression,sql-server-2008-r2,Caching,.net 4.0,Compression,Sql Server 2008 R2,我想知道哪种方法更适合将网页内容保存到数据库中进行缓存 使用ntext数据类型并将内容另存为平面字符串 使用ntext,但压缩内容,然后保存 使用varbinary(MAX)保存内容(如何将平面字符串转换为二进制?;-)) 你向我建议的另一种方法 更新 更深入地说,我有许多表(url、缓存、解析内容、单词、点击等),对于url表中的每个url,我发送请求并将响应保存到缓存表中。这是我的引擎的Downloader(谷歌的URLSolver)部分。然后,indexer section act将执行与

我想知道哪种方法更适合将网页内容保存到数据库中进行缓存

  • 使用ntext数据类型并将内容另存为平面字符串
  • 使用ntext,但压缩内容,然后保存
  • 使用varbinary(MAX)保存内容(如何将平面字符串转换为二进制?;-))
  • 你向我建议的另一种方法
  • 更新


    更深入地说,我有许多表(url、缓存、解析内容、单词、点击等),对于url表中的每个url,我发送请求并将响应保存到缓存表中。这是我的引擎的Downloader(谷歌的URLSolver)部分。然后,indexer section act将执行与此相关的解析和etc任务。压缩/解压缩仅在新内容被缓存或解析时执行。更好的方法是使用ASP.NET中的内置缓存功能。这是一个很好的开始,在这之后(或之前),在这两个网站上进行类似的搜索,会让你走得很远



    作为对您评论的回应,我可能会将数据保存为平面字符串。在存储方面,这可能不是性能方面的最佳选择,但如果要对文本内容执行搜索,您不希望每次都必须压缩/解压缩或转换为二进制文件,因为在SQL Server中可能没有(简单的)方法可以做到这一点。只需确保您已正确设置了所有需要设置的INTEX和全文功能。

    我无法给出更详细答案的主要原因是您尚未指定您是否使用ASP.NET Web表单、网页或MVC框架。哦,伙计,我想缓存内容,以便稍后解析内容并对解析的内容执行搜索。我正在开发非常基本的web搜索引擎;)好的,但压缩/解压缩部分仅在每周重新缓存网页时执行(例如),并且实际搜索通过解析缓存内容生成的解析内容。