Pentaho-加载前检查是否已加载csv文件
我正在使用Pentaho-加载前检查是否已加载csv文件,pentaho,pentaho-spoon,Pentaho,Pentaho Spoon,我正在使用Pentaho从文件夹中加载CSV文件,一旦加载文件,我将在表中输入加载的文件名 如果文件已经加载,我需要在加载之前进行检查,为此我要选择文件名,并在保存已加载文件的表中使用名称进行检查。由于我是Pentaho的新手,我正在努力设计这种方法 请建议我应该怎样做,或者是否有完全不同的方法。您的方法是有效的。在数据库中对处理后的文件名进行一些簿记(也可以使用CSV文件) 这种方法的困难在于文件名可能不在字段中。因此,您必须编写一个主作业,以将文件名添加到结果中,并进行加载CSV的转换(在框
Pentaho
从文件夹中加载CSV
文件,一旦加载文件,我将在表中输入加载的文件名
如果文件已经加载,我需要在加载之前进行检查,为此我要选择文件名,并在保存已加载文件的表中使用名称进行检查。由于我是Pentaho的新手,我正在努力设计这种方法
请建议我应该怎样做,或者是否有完全不同的方法。您的方法是有效的。在数据库中对处理后的文件名进行一些簿记(也可以使用CSV文件) 这种方法的困难在于文件名可能不在字段中。因此,您必须编写一个主作业,以
将文件名添加到结果中
,并进行加载CSV的转换(在框中按crtl空格并在下拉列表中找到您的变量),检查数据库,使用流查找
,以及筛选不匹配的行
。加载后,您将“更新”记账表
我们过去成功使用的另一种方法是从目录加载文件,并将处理后的文件移动到另一个目录中。通过这种方式,可以很容易地将新文件放到目录中,并在出现问题时检索处理过的文件
这可能是一个开始:
- 工作
- 转变