Xml 摄取不同数据源的体系结构建议?
问题描述: 我必须接收来自多个源的数据源,并对它们进行ETL,然后将它们存放在Oracle数据仓库中。这些文件本身就是.csv文件。这些文件具有不同的格式、属性和值 为了便于论证,假设我有3种不同类型的文件:Xml 摄取不同数据源的体系结构建议?,xml,xslt,architecture,Xml,Xslt,Architecture,问题描述: 我必须接收来自多个源的数据源,并对它们进行ETL,然后将它们存放在Oracle数据仓库中。这些文件本身就是.csv文件。这些文件具有不同的格式、属性和值 为了便于论证,假设我有3种不同类型的文件: File1-我每天都会收到一个这种类型的新文件。 用户名、名、姓 文件2-我每周都会收到这种类型的新文件:order\u id, 订单日期、订单金额 File3-我每月都会收到一个这种类型的新文件:part_id, 零件名称、零件描述 获取这些数据并将其提供给ETL步骤的最简单方法是什
- File1-我每天都会收到一个这种类型的新文件。 用户名、名、姓
- 文件2-我每周都会收到这种类型的新文件:order\u id,
订单日期、订单金额 - File3-我每月都会收到一个这种类型的新文件:part_id,
零件名称、零件描述
非常感谢您的任何建议。我曾使用Talend Studio为数据集成构建ETL作业: 它是ETL最重要的开源工具之一,学习速度非常快,非常适合您所描述的工作:您可以读取csv,执行所有转换,然后将结果直接加载到Oracle DB上,并将结果保存到数据库中。 它是基于Java的,但您不会编写代码行(只是一些基础知识)。完成作业后,您可以将其导出为脚本(.sh或.bat)并对其进行调度