Apache spark 使用spark runner的Apache beam字数计算示例失败；未知'；跑步者'；指定的'；SparkRunner'&引用；

我试图通过给出以下命令来完成ApacheBeam单词计数示例的spark提交

spark-submit --class org.apache.beam.examples.WordCount word-count-beam-0.1.jar --inputFile=pom.xml --output=counts --runner=SparkRunner

我得到以下例外情况：

线程“main”java.lang.IllegalArgumentException中的异常：未知 “runner”指定了“SparkRunner”，支持管道运行程序 [DirectRunner]

---

您的pom.xml需要包含对Spark runner的依赖关系。有关使用的文档包括有关所需内容的更多详细信息

看起来您并没有构建一个具有必要的Spark依赖项的Uber jar。 重新运行Maven包，如下所示：

mvn包-Pspark runner

这将在

target

中构建一个Jar，其中包含

wordcount

类以及所有必要的spark依赖项，称为：

word-count-beam-bundled-0.1.jar

然后在

spark submit

命令中使用该jar