Fatal编程技术网
  • regex/
  • Regex 使用flume拦截器逐行过滤文件

Regex 使用flume拦截器逐行过滤文件

regex hadoop

Regex 使用flume拦截器逐行过滤文件,regex,hadoop,hadoop2,flume,flume-ng,Regex,Hadoop,Hadoop2,Flume,Flume Ng,我正在尝试配置从.csv或.xl3读取的flume代理。文件的一个示例： ClientA ClientB Start-time End-time Duration Status 35862515 36958452 16/01/2017 16/01/2017 10 good 32456988 22583694 16/01/2017 16/01/2017 05 good 35968478 36985724 16/01/2017 16/

我正在尝试配置从.csv或.xl3读取的flume代理。文件的一个示例：

ClientA  ClientB  Start-time  End-time    Duration    Status 
35862515 36958452 16/01/2017  16/01/2017  10          good
32456988 22583694 16/01/2017  16/01/2017  05          good
35968478 36985724 16/01/2017  16/01/2017
32456988 22583694 16/01/2017  16/01/2017  01          good
我要代理逐行筛选文件。如果持续时间不为null，则事件将发送到hdfs/usr/admin/Good_调用，否则，事件将发送到另一个path/usr/admin/Bad_调用

如何使用flume配置实现这一点，拦截器可以使用和。作为正则表达式提取器的结果，“好”行和“坏”行将有不同的标题。最后，添加将根据标头的值决定发送事件的位置。

您可以使用和。作为正则表达式提取器的结果，“好”行和“坏”行将有不同的标题。最后，添加将根据头的值决定将事件发送到何处