Java Apache Beam字数计算示例在使用Spark Runner时失败
我一直在尝试使用ApacheBeam，作为初始测试的一部分，我一直在尝试运行word count示例。我一直在尝试Beam提供的MinimalWordCount示例。代码如下：Java Apache Beam字数计算示例在使用Spark Runner时失败,java,linux,apache-spark,hdfs,apache-beam,Java,Linux,Apache Spark,Hdfs,Apache Beam,我一直在尝试使用ApacheBeam，作为初始测试的一部分，我一直在尝试运行word count示例。我一直在尝试Beam提供的MinimalWordCount示例。代码如下： PipelineOptions options = PipelineOptionsFactory.create(); Pipeline p = Pipeline.create(options); p.apply(TextIO.read().from("file:///tmp/shakespea
PipelineOptions options = PipelineOptionsFactory.create();
Pipeline p = Pipeline.create(options);
p.apply(TextIO.read().from("file:///tmp/shakespeare.txt"))
.apply("ExtractWords", ParDo.of(new DoFn<String, String>() {
@ProcessElement
public void processElement(ProcessContext c) {
for (String word : c.element().split(ExampleUtils.TOKENIZER_PATTERN)) {
if (!word.isEmpty()) {
c.output(word);
}
}
}
}))
.apply(Count.<String>perElement())
.apply("FormatResults", MapElements.via(new SimpleFunction<KV<String, Long>, String>() {
@Override
public String apply(KV<String, Long> input) {
return input.getKey() + ": " + input.getValue();
}
}))
.apply(TextIO.write().to("file:///tmp/wordcounts/"));
// Run the pipeline.
p.run().waitUntilFinish();
}
PipelineOptions=PipelineOptionsFactory.create（）；
Pipeline p=Pipeline.create（选项）；
p、 应用（TextIO.read（）.from）（“file:///tmp/shakespeare.txt"))
.apply（“摘录词语”，第页，共页（新DoFn）（）{
@过程元素
公共void processElement（ProcessContext c）{
for（字符串字：c.element（）.split（ExampleUtils.TOKENIZER_模式））{
如果（！word.isEmpty（））{
c、 输出（字）；
}
}
}
}))
.apply（Count.perElement（））
.apply（“FormatResults”，MapElements.via（新的SimpleFunction（））{
@凌驾
公共串应用（千伏输入）{
返回input.getKey（）+“：”+input.getValue（）；
}
}))
.apply（TextIO.write（））到（“file:///tmp/wordcounts/"));
//运行管道。
p、 run（）.waitUntilFinish（）；
}