Database 使用LogParser将IIS日志放入数据库时使用的替代数据库

我们已经运行了一些脚本，这些脚本使用LogParser将IIS日志转储到SQL Server数据库中

然后，我们可以查询它以获得关于点击率、使用率等的简单统计数据。当将它链接到错误日志数据库和性能计数器数据库以比较使用率和错误等时，这也很好

在过去的2-3周内，我们只在一个系统上实现了这一点，我们已经有了一个5GB的数据库，其中包含大约1000万条记录

这使得对该数据库的任何查询都非常缓慢，如果我们继续按原样登录，无疑会导致存储问题

有没有人能建议我们使用其他数据库来处理这些数据，以便更有效地处理这些日志？我对谷歌的BigTable或亚马逊的SimbleDB的任何体验都特别感兴趣

---

这两种方法中有哪一种适合报告查询？计数、分组、数据透视？

您多久更新一次索引？您正在对数据执行什么类型的查询

也许您可以在每天结束时执行例行的数据整理，以加快其他查询的速度？（使用此整理信息创建新表）

就像一个页面点击表可能有一个记录，记录每天该页面被点击的次数-这样你就不必对每个查询进行完整的表扫描，只需点击页面点击表

一个唯一的主机表可能有关于延迟时间、它们访问的页面数、下载的文件数、总带宽、会话放弃、唯一cookie（不同的用户，可能在代理或防火墙后面）的记录

如果有的话，你计划什么样的清理计划

虽然永久保存所有这些数据很好，特别是对于您尚未想到的事情，但您需要的绝大多数数据都是经过整理的数据——因此，围绕这些数据构建您的报告，并为您真正需要的数据保留原始数据

---

无论如何，这都是您必须使用键值存储（如simpledb或bigtable）构建的内容

您多久更新一次索引？您正在对数据执行什么类型的查询

也许您可以在每天结束时执行例行的数据整理，以加快其他查询的速度？（使用此整理信息创建新表）

就像一个页面点击表可能有一个记录，记录每天该页面被点击的次数-这样你就不必对每个查询进行完整的表扫描，只需点击页面点击表

一个唯一的主机表可能有关于延迟时间、它们访问的页面数、下载的文件数、总带宽、会话放弃、唯一cookie（不同的用户，可能在代理或防火墙后面）的记录

如果有的话，你计划什么样的清理计划

虽然永久保存所有这些数据很好，特别是对于您尚未想到的事情，但您需要的绝大多数数据都是经过整理的数据——因此，围绕这些数据构建您的报告，并为您真正需要的数据保留原始数据

---

无论如何，这都是您必须使用键值存储（如simpledb或bigtable）构建的内容

我认为存储成本将是您最关心的问题。即使你选择云计算，我也怀疑你是否能够管理如此数量数据的成本。我的建议是将数据转移到超便宜的存储中，并部署一个能够高效地操作该数据的解决方案

例如，您可以将日志文件从服务器移动到具有巨大硬盘驱动器（以及相应的备份解决方案）的本地计算机，然后在本地运行可以分析数据的工具。如果您可以对该数据的一小部分进行操作，那么日志解析器是有效的。您可以在本地运行数据库，但即使是优化的查询也可能运行缓慢

---

<>你可能会考虑购买一个日志分析工具来对付这些文件。

< P>我认为存储成本将是你最关心的问题。即使你选择云计算，我也怀疑你是否能够管理如此数量数据的成本。我的建议是将数据转移到超便宜的存储中，并部署一个能够高效地操作该数据的解决方案

例如，您可以将日志文件从服务器移动到具有巨大硬盘驱动器（以及相应的备份解决方案）的本地计算机，然后在本地运行可以分析数据的工具。如果您可以对该数据的一小部分进行操作，那么日志解析器是有效的。您可以在本地运行数据库，但即使是优化的查询也可能运行缓慢

---

<>你可能会考虑购买一个日志分析工具来对付这些文件。

我以前也遇到过类似的问题。由于日志文件增长如此之快，我开始考虑是否适合将数据库用于IIS日志。你可能需要考虑两点：

在大多数情况下，IIS日志不能直接提供有用的信息，需要对其进行解析以获得统计信息

而且，在大多数情况下，IIS日志不必准备在数据库中进行查询

---

建议将所有日志保存在以前的文件中，但将每周或每月的统计信息（定期处理）存储在数据库中，以便您准备好这些基本数据。

我以前也遇到过类似的问题。由于日志文件增长如此之快，我开始考虑是否适合将数据库用于IIS日志。你可能需要考虑两点：

在大多数情况下，IIS日志不能直接提供有用的信息，需要对其进行解析以获得统计信息

而且，在大多数情况下，IIS日志不必准备在数据库中进行查询

建议将所有日志保存在以前的文件中，但将每周或每月的统计信息（定期处理）存储在数据库中，以便准备好这些基本数据-