Pentaho-加载前检查是否已加载csv文件

Pentaho-加载前检查是否已加载csv文件,pentaho,pentaho-spoon,Pentaho,Pentaho Spoon,我正在使用Pentaho从文件夹中加载CSV文件,一旦加载文件,我将在表中输入加载的文件名 如果文件已经加载,我需要在加载之前进行检查,为此我要选择文件名,并在保存已加载文件的表中使用名称进行检查。由于我是Pentaho的新手,我正在努力设计这种方法 请建议我应该怎样做,或者是否有完全不同的方法。您的方法是有效的。在数据库中对处理后的文件名进行一些簿记(也可以使用CSV文件) 这种方法的困难在于文件名可能不在字段中。因此,您必须编写一个主作业,以将文件名添加到结果中,并进行加载CSV的转换(在框

我正在使用
Pentaho
从文件夹中加载
CSV
文件,一旦加载文件,我将在表中输入加载的文件名

如果文件已经加载,我需要在加载之前进行检查,为此我要选择文件名,并在保存已加载文件的表中使用名称进行检查。由于我是Pentaho的新手,我正在努力设计这种方法


请建议我应该怎样做,或者是否有完全不同的方法。

您的方法是有效的。在数据库中对处理后的文件名进行一些簿记(也可以使用CSV文件)

这种方法的困难在于文件名可能不在字段中。因此,您必须编写一个主作业,以
将文件名添加到结果中
,并进行加载CSV的转换(在框中按crtl空格并在下拉列表中找到您的变量),检查数据库,使用
流查找
,以及
筛选不匹配的行
。加载后,您将“更新”记账表

我们过去成功使用的另一种方法是从目录加载文件,并将处理后的文件移动到另一个目录中。通过这种方式,可以很容易地将新文件放到目录中,并在出现问题时检索处理过的文件

这可能是一个开始:

  • 工作
  • 转变

您能发布您迄今为止尝试过的内容吗?(代码)嘿@KeyMaker00,正如我提到的,我正在考虑使用GetFileName将文件名读入一个变量,然后在SQL中调用一个存储过程,将此文件名与日志表中的文件项进行比较,并返回输出参数,如果其值为1,则表示文件已存在;如果文件是新的,则返回0,则可以加载到表中。我想知道是否有更好的方法。我不知道我是否可以添加任何这样的代码!谢谢你的意见。实际上,我能够成功加载单个文件,但是,我的问题是,在我的源位置可能有多个文件。我必须一个接一个地选择每个文件,并对该文件执行某些操作,然后选择另一个文件并重复相同的操作,然后选择下一个文件,依此类推。。请推荐这个。如果我在第一次尝试问这个问题时不清楚,我真的很抱歉。我的建议仍然是:使用一个将循环执行转换的作业。如果需要,请询问更多信息。谢谢,伙计!!要在循环中使用作业。。。这是我之前没有想到的。我让我的程序运行起来了。再次感谢你