如何使用纯SQL进行探索性数据分析?

如何使用纯SQL进行探索性数据分析?,sql,ssis,data-mining,etl,data-quality,Sql,Ssis,Data Mining,Etl,Data Quality,我是一名ETL开发人员,为ETL任务使用不同的工具。在我们所有的项目中都会出现同样的问题:在构建数据仓库之前以及在构建用于数据移动的ETL之前,数据分析的重要性。通常我使用纯SQL进行数据分析(即查找坏数据、数据异常、计数、不同值等),因为ETL工具并没有为这些提供一个很好的替代方案(我们的工具中有一些数据质量组件,但它们并不那么复杂)。一种选择是使用或等一种工具来进行这类操作。但是,如果有数百万行数据,这些工具通常不可用或不合格 如何使用SQL进行这种分析?是否有可用的帮助程序脚本?在数据清理

我是一名ETL开发人员,为ETL任务使用不同的工具。在我们所有的项目中都会出现同样的问题:在构建数据仓库之前以及在构建用于数据移动的ETL之前,数据分析的重要性。通常我使用纯SQL进行数据分析(即查找坏数据、数据异常、计数、不同值等),因为ETL工具并没有为这些提供一个很好的替代方案(我们的工具中有一些数据质量组件,但它们并不那么复杂)。一种选择是使用或等一种工具来进行这类操作。但是,如果有数百万行数据,这些工具通常不可用或不合格


如何使用SQL进行这种分析?是否有可用的帮助程序脚本?在数据清理和ETL之前,如何进行此类探索性数据分析?

将数据加载到某个临时系统中,并使用SSIS中的数据探查器任务。使用此链接验证如何进行数据分析。希望这有帮助。

我找到了一个用于此目的的好工具:。这似乎完成了我想在EDA过程中处理数据的大部分工作