Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/design-patterns/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Design patterns 使用PDI的数据加载模式_Design Patterns_Pentaho_Etl_Kettle_Pdi - Fatal编程技术网

Design patterns 使用PDI的数据加载模式

Design patterns 使用PDI的数据加载模式,design-patterns,pentaho,etl,kettle,pdi,Design Patterns,Pentaho,Etl,Kettle,Pdi,我需要建立通用的工作流解决方案,以满足不同类型的数据负载。 喜欢 a) 从平面文件到平面文件-(可以是固定宽度文件、分隔文件或excel文件) b) 从平面文件到数据库-(可以是任何数据库,也可以是以前的任何文件类型 c) 从数据库到数据库 可以通过设置基于web的GUI来配置上述元数据 元数据: a) 文件类型 b) 纵队 c) 过滤逻辑 d) 如果条件为“是”,则查找 e) 加载类型:基于主键插入、更新或向上插入 f) 数据库类型 g) 数据库的JNDI h) 记录级别或聚合级别的业务规则。

我需要建立通用的工作流解决方案,以满足不同类型的数据负载。 喜欢 a) 从平面文件到平面文件-(可以是固定宽度文件、分隔文件或excel文件) b) 从平面文件到数据库-(可以是任何数据库,也可以是以前的任何文件类型 c) 从数据库到数据库

可以通过设置基于web的GUI来配置上述元数据

元数据: a) 文件类型 b) 纵队 c) 过滤逻辑 d) 如果条件为“是”,则查找 e) 加载类型:基于主键插入、更新或向上插入 f) 数据库类型 g) 数据库的JNDI h) 记录级别或聚合级别的业务规则。

最近,我观看了视频“”,非常相信可以使用PDI以最少的编码创建上述工作流

是否有人能够提供示例来实现同样的目标

问候,,
Dikesh Shah.

Pentaho是一种元数据驱动的工具。我相信您可以构建一个您正在寻找的解决方案。PDI或kettle为您提供了各种步骤,如“设置变量”和“获取变量”。退房 也检查一下

此外,在转换设置中,还可以找到添加参数的选项。检查以下图像以添加参数:

从UI需要做的是通过添加参数动态地将值传递给Kettle,并使用get和set变量来完成其余的业务逻辑


希望这有帮助:)。如果需要,我可以向您提供样品解决方案。

我可以确认这是可以做到的。我们构建了一个元数据驱动的系统,它从任何pdi数据源读取数据并将数据写入hadoop。在数据库中添加新源纯粹是元数据,对转换没有任何更改。谢谢Codek。如果可能的话,如果您能提供一个工作示例,我们将不胜感激?对不起,但没有;这是一个庞大的工程。我没说这很容易!但这是绝对可以做到的。感谢codek的回复。任何暗示或线索都将不胜感激。