Java 使用一个元组流中的字段作为第二个元组流上RegexParser中regex的一部分
我正在尝试读取hdfs中的csv,用级联方式解析它,然后使用生成的元组流在另一个使用RegexParser的元组流中形成regex表达式的基础。据我所知,实现这一点的唯一方法是编写自己的自定义函数,我想知道是否有人知道如何使用JavaAPI来实现这一点 关于如何在级联框架中编写自己的函数来实现这一点的建议也将受到欢迎Java 使用一个元组流中的字段作为第二个元组流上RegexParser中regex的一部分,java,regex,hadoop,custom-component,cascading,Java,Regex,Hadoop,Custom Component,Cascading,我正在尝试读取hdfs中的csv,用级联方式解析它,然后使用生成的元组流在另一个使用RegexParser的元组流中形成regex表达式的基础。据我所知,实现这一点的唯一方法是编写自己的自定义函数,我想知道是否有人知道如何使用JavaAPI来实现这一点 关于如何在级联框架中编写自己的函数来实现这一点的建议也将受到欢迎 我正在运行Cascading 2.5.1这个问题的最佳资源是Palo Alto Cascading示例教程。它是用java编写的,提供了许多用例的示例,包括编写自定义函数 是的,
我正在运行Cascading 2.5.1这个问题的最佳资源是Palo Alto Cascading示例教程。它是用java编写的,提供了许多用例的示例,包括编写自定义函数 是的,编写一个允许输入正则表达式引用其他参数输入的函数是最好的选择
public class SampleFunction extends BaseOperation implements Function
{
public void operate( FlowProcess flowProcess, FunctionCall functionCall )
{
TupleEntry argument = functionCall.getArguments();
String regex = argument.getString( 0 );
String argument = argument.getString( 1 );
String parsed = someRegexOperation();
Tuple result = new Tuple();
result.add( parsed );
functionCall.getOutputCollector().add( result );
}
}