Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/xml/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/xslt/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Xml 摄取不同数据源的体系结构建议?_Xml_Xslt_Architecture - Fatal编程技术网

Xml 摄取不同数据源的体系结构建议?

Xml 摄取不同数据源的体系结构建议?,xml,xslt,architecture,Xml,Xslt,Architecture,问题描述: 我必须接收来自多个源的数据源,并对它们进行ETL,然后将它们存放在Oracle数据仓库中。这些文件本身就是.csv文件。这些文件具有不同的格式、属性和值 为了便于论证,假设我有3种不同类型的文件: File1-我每天都会收到一个这种类型的新文件。 用户名、名、姓 文件2-我每周都会收到这种类型的新文件:order\u id, 订单日期、订单金额 File3-我每月都会收到一个这种类型的新文件:part_id, 零件名称、零件描述 获取这些数据并将其提供给ETL步骤的最简单方法是什

问题描述: 我必须接收来自多个源的数据源,并对它们进行ETL,然后将它们存放在Oracle数据仓库中。这些文件本身就是.csv文件。这些文件具有不同的格式、属性和值

为了便于论证,假设我有3种不同类型的文件:

  • File1-我每天都会收到一个这种类型的新文件。 用户名、名、姓

  • 文件2-我每周都会收到这种类型的新文件:order\u id,
    订单日期、订单金额

  • File3-我每月都会收到一个这种类型的新文件:part_id,
    零件名称、零件描述

获取这些数据并将其提供给ETL步骤的最简单方法是什么?我如何编码、实现一个可以用于所有类型文件的解决方案,即使是当前未知类型的文件4

我认为XSLT和XPath是一种可能的解决方案。将.csv文件转换为XML,然后为每种文件类型编写XSLT模板。我走对了吗?还有什么其他技术/工具可以帮助我


非常感谢您的任何建议。

我曾使用Talend Studio为数据集成构建ETL作业:

它是ETL最重要的开源工具之一,学习速度非常快,非常适合您所描述的工作:您可以读取csv,执行所有转换,然后将结果直接加载到Oracle DB上,并将结果保存到数据库中。 它是基于Java的,但您不会编写代码行(只是一些基础知识)。完成作业后,您可以将其导出为脚本(.sh或.bat)并对其进行调度