Pentaho kettle在转换过程中从SFPT获取文件

Pentaho kettle在转换过程中从SFPT获取文件,pentaho,kettle,Pentaho,Kettle,我需要从FTP位置读取要处理的源文件。为每个部门分配一个特定的FTP文件夹。我想这样做 (1) 获取所有部门ID的列表,并将其逐行传递给作业 (2) 在该作业中,获取当前部门ID的访问凭据并将其放入变量中 (3) 从部门特定的FTP访问文件,对其进行处理并将处理后的文件放回FTP 在我的kettle版本(CE5.0.1)中,我不知道如何在一次转换中从SFTP获取文件。在工作级别有一个可用的步骤。如果在转换时有一个步骤,我可以从Get Variables setp传递访问凭证,这样对于所有的Dep

我需要从FTP位置读取要处理的源文件。为每个部门分配一个特定的FTP文件夹。我想这样做

(1) 获取所有部门ID的列表,并将其逐行传递给作业 (2) 在该作业中,获取当前部门ID的访问凭据并将其放入变量中 (3) 从部门特定的FTP访问文件,对其进行处理并将处理后的文件放回FTP

在我的kettle版本(CE5.0.1)中,我不知道如何在一次转换中从SFTP获取文件。在工作级别有一个可用的步骤。如果在转换时有一个步骤,我可以从Get Variables setp传递访问凭证,这样对于所有的Dept id,它都可以工作

请指导我如何才能做到这一点

两种方法:

备选方案A(建议):

  • 父作业调用子作业,每行执行一次子作业
  • 子作业:通过sftp获取文件,并将文件传递给转换
  • 转换:读取一个文件
备选案文B(实验性):


从PDI5开始,有一个转换执行器步骤和一个作业执行器步骤,可以从转换中调用。他们的目的是为这类任务提供一个更简单的迭代模型。

谢谢。将在遵循您的方法后更新您。