使用烫伤或scala删除文件跟踪记录

使用烫伤或scala删除文件跟踪记录,scala,bigdata,scalding,Scala,Bigdata,Scalding,我正在尝试使用Pipe cascading.Pipe.Pipe读取文件。 文件中的每个记录都遵循一个模式,因此拖车记录除外;每当管道读取代码执行时,它就会抛出异常,因为拖车记录与模式不匹配。 管道看起来像: fieldlst:Listcol1、col2、col3 val filteredInput=CsvinputFilePath,分隔符=|,fields=fieldlst,skipHeader=true .读 谁能告诉我一个解决办法吗。通过读写文件删除预告记录似乎是一个简单的解决方案,但为此,

我正在尝试使用Pipe cascading.Pipe.Pipe读取文件。 文件中的每个记录都遵循一个模式,因此拖车记录除外;每当管道读取代码执行时,它就会抛出异常,因为拖车记录与模式不匹配。 管道看起来像:

fieldlst:Listcol1、col2、col3

val filteredInput=CsvinputFilePath,分隔符=|,fields=fieldlst,skipHeader=true .读


谁能告诉我一个解决办法吗。通过读写文件删除预告记录似乎是一个简单的解决方案,但为此,我必须读写整个文件,而且文件可能非常庞大。

您可以使用文本行,然后使用“|”拆分记录,而不是使用Csv管道

谢谢萨坦德拉!!!这确实有效,但当我使用文本行读取文件并写回时,它在每行的开头都包含序列值,例如1、2、3。。。我怎样才能避免这种情况,或者有没有一种方法可以使它在读取后不写文件?注意:-我在执行TextLine时重写FlowListener。