运行Spark Kafka wordcount.java示例时,不带“;“运行示例”;剧本
我试图在Spark中运行单词计数示例,它将从Kafka流式传输数据。 . 然而,我发现Cloudera Spark分布与孵化器分布略有不同。我在运行spark shell和运行word count示例时没有问题。但是,bin文件夹中没有“运行示例”脚本,这在示例源代码中有说明运行Spark Kafka wordcount.java示例时,不带“;“运行示例”;剧本,java,apache-kafka,apache-spark,Java,Apache Kafka,Apache Spark,我试图在Spark中运行单词计数示例,它将从Kafka流式传输数据。 . 然而,我发现Cloudera Spark分布与孵化器分布略有不同。我在运行spark shell和运行word count示例时没有问题。但是,bin文件夹中没有“运行示例”脚本,这在示例源代码中有说明 * Example: * `./bin/run-example org.apache.spark.streaming.examples.JavaKafkaWordCount local[2] zoo01,z
* Example:
* `./bin/run-example org.apache.spark.streaming.examples.JavaKafkaWordCount local[2] zoo01,zoo02,
* zoo03 my-consumer-group topic1,topic2 1`
我对jar相当陌生,但我知道,要在命令行中运行java程序,需要打包所有依赖项和代码,编译并放入jar文件。然后将jar文件作为一个整体运行,我想,“”代码就是这么做的
有谁能告诉我,如果没有运行示例脚本,如何运行KafkaWordCount.java示例
这里有一个类似的例子,但我不想每次都在spark shell中运行java代码
非常感谢
Hadoop:
我有一个Cloudera Hadoop发行版(CDH 4.6.0-1.cdh4.6.0.p0.26),由Cloudera Manager管理
火花:
我已经下载了(SPARK 0.9.0-1.cdh4.6.0.p0.50)包,并分发和激活了该服务
卡夫卡:
kafka-0.8.0,我已经下载了源代码,并从源代码中构建了它。我将使用JavaKafkaWordCount.java,将其打包到Jar文件中,然后运行它