Database OLAP、OLTP、数据仓库、分析、分析和数据挖掘是如何关联的?

Database OLAP、OLTP、数据仓库、分析、分析和数据挖掘是如何关联的?,database,analytics,data-warehouse,olap,oltp,Database,Analytics,Data Warehouse,Olap,Oltp,我正在试图理解OLAP、OLTP、数据挖掘、分析等是关于什么的,我觉得我对其中一些概念的理解仍然有点模糊。关于这些主题的信息往往在互联网上以非常复杂的方式进行解释 我觉得像这样的问题可能会结束,因为这是一个非常广泛的问题,所以我将尝试将其缩小为两个问题: 问题1: 通过研究,我了解了以下关于这些概念的内容,是否正确? 分析就是分解一些复杂的东西,以便更好地理解内部工作原理 分析是对需要大量数学和统计数据的信息进行预测性分析 有许多类型的数据库,但它们要么是OLTP(事务型),要么是OLAP(

我正在试图理解OLAP、OLTP、数据挖掘、分析等是关于什么的,我觉得我对其中一些概念的理解仍然有点模糊。关于这些主题的信息往往在互联网上以非常复杂的方式进行解释


我觉得像这样的问题可能会结束,因为这是一个非常广泛的问题,所以我将尝试将其缩小为两个问题:

问题1:

通过研究,我了解了以下关于这些概念的内容,是否正确?

  • 分析就是分解一些复杂的东西,以便更好地理解内部工作原理
  • 分析是对需要大量数学和统计数据的信息进行预测性分析
  • 有许多类型的数据库,但它们要么是OLTP(事务型),要么是OLAP(分析型)
  • OLTP数据库使用ER图,因此更易于更新,因为它们是规范化的形式
  • 相比之下,OLAP使用非规范化的星型模式,因此更易于查询
  • OLAP用于预测分析,OLTP通常用于更实际的情况,因为没有冗余
  • 数据仓库是一种OLAP数据库,通常由多个其他数据库组成
  • 数据挖掘是一种用于分析的工具,你可以使用计算机软件来发现数据之间的关系,从而可以预测事物(例如,客户行为)
问题2:


我对分析和分析之间的区别特别困惑。他们说分析是多维分析,但这意味着什么呢?

我可以告诉你们关于数据挖掘的内容,就像我在数据挖掘项目上做的一样。数据挖掘不是一种工具,它是一种挖掘数据的方法,用于数据挖掘的不同工具是WEKA、RAPID MINER等。数据挖掘遵循许多内置于WEKA、RAPID MINER等工具中的算法。聚类算法、关联算法等算法。 我可以给你举一个简单的数据挖掘的例子。教师在课堂上使用不同的教学方法教授科学科目,如使用黑板、演示、实践等。所以现在我们的目标是找到适合学生的方法。然后我们做了调查,收集了学生的意见,40名学生喜欢黑板,30名学生喜欢演讲,20名学生喜欢实践方法。因此,借助这些数据,我们可以制定一些规则,例如,科学科目应该采用黑板法教学。
要了解不同的算法,您可以使用google:D.

我将尝试从金字塔的顶部向您解释:

商业智能(您没有提到的)是IT中的一个术语,它代表一个复杂的系统,从数据中提供有关公司的有用信息

因此,BI系统的目标是:干净、准确和有意义的信息。 清洁意味着没有技术问题(缺少钥匙、数据不完整等)。准确意味着准确-BI系统还用作生产数据库的故障检查程序(逻辑故障-即发票金额过高,或使用非活动合作伙伴)。这是有规则的。有意义是很难解释的,但用简单的英语来说,就是你想要的所有数据(甚至是上次会议的excel表格)

因此,BI系统有后端:它是数据仓库。 DWH只是一个数据库(实例,而不是软件)。它可以存储在RDBMS、分析数据库(列或文档存储类型)或NoSQL数据库中

数据仓库这个术语通常用于我上面解释的整个数据库。可能有大量的数据集市(如果使用Kimball模型),或者称为企业数据仓库的第三种规范化形式的关系系统(Inmon模型)

数据集市是DWH中相关的表(星形模式、雪花模式)。事实表(非规范化形式的业务流程)和维度表

每个数据集市代表一个业务流程。示例:DWH有3个数据集市。一是零售,二是出口,三是进口。在零售中,您可以按SKU、日期、商店、城市等(维度)查看总销售额、销售数量、进口价格、利润(度量)

在DWH中加载数据称为ETL(提取、转换、加载)

  • 从多个源(ERP数据库、CRM数据库、excel文件、web服务…)提取数据

  • 转换数据(清理数据、连接不同来源的数据、匹配键、挖掘数据

  • 加载数据(在特定数据集市中加载转换的数据)

  • 由于注释而编辑:ETL过程通常使用ETL工具创建,或者使用一些编程语言(python、c#ect)和API手动创建

    ETL过程是一组相关的SQL、过程、脚本和规则,分为3个部分(见上文),由元数据控制。 它要么是计划的(每晚,每隔几个小时)要么是实时的(更改数据捕获、触发器、事务)

    OLTPOLAP是数据处理的类型。OLTP用于数据库和软件之间的事务处理(通常只有一种输入/输出数据的方式)。 OLAP用于分析,这意味着有多个源、历史数据、高选择查询性能、挖掘数据

    由于注释而编辑:数据处理是存储数据和从数据库访问数据的方式。所以,根据您的需要,数据库以不同的方式设置

    图片来源:

    数据挖掘是在大型数据集中发现模式的计算过程。挖掘的数据可以让您更深入地了解业务流程,甚至预测

    肛门