Database design 数据仓库新手-是否所有数据都存在于一个数据库中?

Database design 数据仓库新手-是否所有数据都存在于一个数据库中?,database-design,data-warehouse,Database Design,Data Warehouse,我在当地一家警察局工作,那里有很多关于人和车辆的信息,有很多不同的数据来源。该组织希望有一个能够集中搜索这些系统的设施。例如,他们在网页中输入姓名和出生日期,然后搜索所有数据源(20),并在网页上显示结果 我已经很快地构建了它并进行了测试。主要问题是速度慢,因为: 1) 有20个不同的数据库需要搜索2)这些数据库是 优化选择和插入,因为它们是OLTP数据库 我在Visual Studio Analysis services中创建了一个简单的项目,即有一个数据源、几个维度、几个层次结构和一个多维数

我在当地一家警察局工作,那里有很多关于人和车辆的信息,有很多不同的数据来源。该组织希望有一个能够集中搜索这些系统的设施。例如,他们在网页中输入姓名和出生日期,然后搜索所有数据源(20),并在网页上显示结果

我已经很快地构建了它并进行了测试。主要问题是速度慢,因为:

1) 有20个不同的数据库需要搜索2)这些数据库是 优化选择和插入,因为它们是OLTP数据库

我在Visual Studio Analysis services中创建了一个简单的项目,即有一个数据源、几个维度、几个层次结构和一个多维数据集。我的问题是:

1) 数据仓库是否适合此场景

2) 数据仓库是否应该将所有信息(使用ETL)加载到一个数据库中

3) 使用ASP.NET在数据仓库中使用信息是否不好,即是否应该使用SSR和Business Objects等报告工具

4) 你有一个狙击手数据库吗


数据仓库的存在是为了使OLTP数据的灵活信息检索更加高效和易于管理

OLTP数据库的结构可实现高效的数据维护。数据检索通常有不同的要求。您的场景可能是星型模式雪花模式的最佳候选

是否有一颗星或雪花取决于OLTP数据中存在多少事实。如果你正在追踪(或报告)的唯一事实是警方和公众之间的联系,那么你可能只需要一颗星星或雪花。如果你有更多的事实,加上更多的星星(等等)

通常,每个星星或雪花都有多个维度。没关系。拥有尽可能多的感兴趣的东西,但每个星星/雪花只有一个事实

您可以使用ETL过程完全重新创建这些数据仓库对象,或者每次完全重新创建,或者每晚(或其他时间段)逐段重新创建。这完全取决于你的要求。要记住的重要事项是:

  • 如果报告会妨碍事务处理,请将报告数据和OLTP数据分开

  • 准备好重新创建数据仓库或定期重新同步数据仓库,因为每次保存某些数据的两个副本时,它们迟早会失去同步,业务中的某个人会因此对其中的某个人大喊大叫


有很多很好的工具可以在数据仓库上进行临时报告。这些对于探索数据以发现有趣的东西非常有用。然而,这些工具可能很复杂,有时甚至效率低下。因此,通过使用存储过程或类似的编程方法将非常常用的报告构建为标准查询,从而将其“制度化”是一种常见做法。这些类型的报告可以使用ASP.NET或您选择的web语言显示,而不使用特殊的报告工具。

数据仓库的存在是为了使从OLTP数据进行灵活的信息检索更加高效和易于管理

OLTP数据库的结构可实现高效的数据维护。数据检索通常有不同的要求。您的场景可能是星型模式雪花模式的最佳候选

是否有一颗星或雪花取决于OLTP数据中存在多少事实。如果你正在追踪(或报告)的唯一事实是警方和公众之间的联系,那么你可能只需要一颗星星或雪花。如果你有更多的事实,加上更多的星星(等等)

通常,每个星星或雪花都有多个维度。没关系。拥有尽可能多的感兴趣的东西,但每个星星/雪花只有一个事实

您可以使用ETL过程完全重新创建这些数据仓库对象,或者每次完全重新创建,或者每晚(或其他时间段)逐段重新创建。这完全取决于你的要求。要记住的重要事项是:

  • 如果报告会妨碍事务处理,请将报告数据和OLTP数据分开

  • 准备好重新创建数据仓库或定期重新同步数据仓库,因为每次保存某些数据的两个副本时,它们迟早会失去同步,业务中的某个人会因此对其中的某个人大喊大叫


有很多很好的工具可以在数据仓库上进行临时报告。这些对于探索数据以发现有趣的东西非常有用。然而,这些工具可能很复杂,有时甚至效率低下。因此,通过使用存储过程或类似的编程方法将非常常用的报告构建为标准查询,从而将其“制度化”是一种常见做法。这些类型的报告可以使用ASP.NET或您选择的web语言显示,而不使用特殊的报告工具。

数据仓库的存在是为了使从OLTP数据进行灵活的信息检索更加高效和易于管理

OLTP数据库的结构可实现高效的数据维护。数据检索通常有不同的要求。您的场景可能是星型模式雪花模式的最佳候选

是否有一颗星或雪花取决于OLTP数据中存在多少事实。如果你正在追踪(或报告)的唯一事实是警方和公众之间的联系,那么你可能只需要一颗星星或雪花。如果你有更多的事实