Data warehouse 为什么我们需要数据仓库?

Data warehouse 为什么我们需要数据仓库?,data-warehouse,Data Warehouse,我想知道为什么以及何时我们需要数据仓库,我的意思是数据仓库的主要目标是从多维视图提供报告,但在某些情况下,有一种方法可以使用DBMS构建报告,它可以从多维视图生成报告,关于数据库的大小,大小可以递增,关于集成DBMS也可以从多个数据源进行集成,如果它们有不同于多个数据源的密钥,DBMS可以修复它(尽管我们不使用数据仓库),从性能方面来说,从操作数据存储生成报告和从数据仓库生成报告需要多少时间,处理时间是否有很大差距 抱歉,我的英语不好,还有一个奇怪的问题,我还在学习数据仓库。为什么我们需要数据仓

我想知道为什么以及何时我们需要数据仓库,我的意思是数据仓库的主要目标是从多维视图提供报告,但在某些情况下,有一种方法可以使用DBMS构建报告,它可以从多维视图生成报告,关于数据库的大小,大小可以递增,关于集成DBMS也可以从多个数据源进行集成,如果它们有不同于多个数据源的密钥,DBMS可以修复它(尽管我们不使用数据仓库),从性能方面来说,从操作数据存储生成报告和从数据仓库生成报告需要多少时间,处理时间是否有很大差距

抱歉,我的英语不好,还有一个奇怪的问题,我还在学习数据仓库。

为什么我们需要数据仓库? 我将分享我和我工作的公司的经验,以及我们如何以及何时决定构建数据仓库

  • 历史数据

    我们的ERP后端设计为覆盖一年的数据(因为数据量大)。所有预定义的报告都是为查看一年的数据而构建的。所以,若要检查每个客户或产品的销售增长,您必须运行两次报告(从两个来源—您在登录页面上选择来源),然后在excel中查找值

  • 多源

    在某种程度上,我们购买了第三方订购解决方案(平板电脑订购->网络服务->数据库),以增强业务。ERP供应商从我们这里获得了一笔财富“将it集成到系统中”

  • 坏数据

    我们的首席财务官和他的团队需要整整一周的时间来生成良好的p'n'L报告。为什么?分析数据是错误的,所以他们必须逐行(在excel导出中)搜索异常

  • 报告性能

    有时,生成按产品、客户和日期分组的年度销售报告需要两个多小时

  • 添加实习生分组

    当管理层决定按照另一个标准区分客户或产品时,我们必须向ERP供应商付款,而且我们还要等待1-3周。猜猜看,销售经理给出了退出,而新的经理则要求新的分组类型。它需要(时间和金钱)

  • 怎么办?更改ERP系统,还是创建数据仓库?我们花了好几个月的时间从他们的标准产品中创建定制系统。我们花了很多钱来支付他们的加班费。我们有250多位雇主教我们如何使用新系统。我们必须等待至少一年,新的ERP供应商才能开发我们的定制需求

    然后我们买下了竞争对手的公司。我们希望通过与销售价值的比较来跟踪我们的进展我们决定建立数据仓库

    我们让我们的生活更轻松。在那之后,我们购买了另一家公司的仓库管理系统,地理跟踪物流管理系统,你猜怎么着?我们有我们想要的数据,以我们想要的方式,具有很好的可扩展性,无需向ERP提供商提供资金

    现在,我们的数据仓库提供:

  • 来自我们公司和另外两家公司的历史数据,具有完美的密钥映射
  • 多源、我们的当前数据、我们的历史数据、收购公司的历史数据、WMS、TMS、订购系统和Excel表(KPI、目标、估算等)
  • 我们制作了一个规则表,所以首席财务官和他的团队只需管理规则表,我们总能得到好的数据,错误的数据会自动(每天)报告给特定的部门,以便进行更改
  • 噢,经理们就是喜欢OLAP。它燃烧得很快
  • 使用Excel表格作为源,如果管理层需要新的分组,我们可以轻松地映射产品或客户
  • 聚合:按月份、按产品等。显然,我们可以在事务数据库中立即进行聚合(使用SQL查询、计算等),但为什么要避免呢?
    • 我们不想影响事务数据库
    • 我们希望将非事务性用户与事务性用户分开
    • 我们想显示报告。要显示报告,我们需要进行复杂的计算,因此我们不希望在报告处理过程中损害事务数据库
  • 历史数据:事务数据库仅用于当前/事务数据,旧数据将/可能被存档。但我们可以查询和组合归档数据和事务数据?
    • 但归档数据在哪里?我们如何获得这些数据?我们如何在运行时进行组合?真让人头痛
  • 多个数据源的组合:我们有多个业务源,报告必须显示所有源的组合信息。所以我们需要一个地方来保存这些数据,这就是为什么我们需要一个数据仓库
  • 从事务数据库中,我们有数据,我们将使用这些数据进行报告。但是,如果该数据格式不好,如果该数据为NULL(但业务规则不为NULL),如果该数据不正确,以及越来越多,该怎么办。这就是为什么我们需要将数据转换为正确的格式、正确的业务规则等。但在这之后,我们希望将其存储在哪里?数据仓库就是在这个时候诞生的

  • 感谢分享您的经验,先生@fenix,这太棒了,因为我可以从数据仓库在公司的实际使用情况中了解更多:),但是如果数据仓库已经设计为5年-10年的数据,那么在您的情况下,为什么生成的报告会出现异常?设计是否错误?或者因为dbms本身不能支持“总是变化”的报告?如果我有一个事务性数据库,我可以将其用于BI工具(如clickview excel等)中,作为生成多维报告的数据源吗?谢谢你的分享,没有比向做过这件事的人学习更好的方法了!让我举例说明:对于每张发票,employe