Etl 将数据从Siebel数据库提取到Dat文件和暂存表

我正在制定一项新的要求，我对这项工作还不熟悉。所以寻求你的帮助。 要求-从Siebel基表（S_ORG_EXT、S_CONTACT、S_PROD_INT）中，我必须导出数据，并需要放入两个临时表（S1和S2），从这些临时表中，我需要创建以管道分隔的dat文件，其中还包括行数。对于暂存表S1，我们应该有与其关联的联系人的帐户，对于S2，我们应该有与其关联的联系人和产品的帐户

我该怎么做呢。我是否需要直接使用Informatica作业来从Siebel基表中提取数据，或者需要运行EIM导出作业来获取EIM表中的数据，并从中获取到暂存表

---

请帮助我知道我应该走哪条路。

使用Informatica直接访问基表，将提取限制为仅需要的行和列

我建议在将这些文件加载到暂存表之前将其卸载到平面文件中（如果暂存表加载中出现问题，这将为您提供一个恢复点，这意味着您不必再次访问Siebel DB）

然后，您可以从那里卸载暂存表，或者只使用平面文件提取来生成具有行计数的分隔文件

我倾向于使用具有合理恢复点的模块化流程，而不是通过“流式传输”数据来加快（可以说）执行时间，因此下面是我要做的（每个流程对应一个映射）：

如果加载暂存表仅用于审核等目的，并且步骤5可以基于在步骤2中创建的文件，则可以与阶段（5）同时执行阶段（3），这可能会减少总体运行时间

如果这是一个一次性的过程，或者您只是想匆忙地编写它，那么您可以跳过编写平面文件，只需在一个或两个映射中完成这一切。但我不会这么做，因为

a） 它更难测试和测试

b） 恢复点更少

干杯

1. Unload from Base Tables to flat files.
2. Join the flat file entities as required and create new flat files in the Staging Table format.
3. Load staging tables.
4. Unload staging tables (optional, if you can get away with using the files created in Step 2)
5. Generate .dat files in pipe-delimited format with the row count.