运行Java Spark配置单元示例时出现问题

我在官方的apache/spark Github上有以下内容。我花了很多时间了解如何在Hortonworks Hadoop沙箱中运行该示例，但没有成功

目前，我正在做以下工作：

• 导入AsiMaven项目，这很好，我没有收到任何关于礼仪的问题，所以我猜这里没有问题
• 下一步是准备在Hadoop沙箱中运行的代码-问题从这里开始，我可能设置了一些错误。这就是我正在做的：

将SparkSession设置为master local，将spark.sql.warehouse.dir更改为hive.metastore.uri并设置thrift://localhost:9083 （正如我在安巴里的蜂箱中看到的）作为仓库位置

SparkSession spark = SparkSession
  .builder()
  .appName("Java Spark Hive Example")
        .master("local[*]")
        .config("hive.metastore.uris", "thrift://localhost:9083")
  .enableHiveSupport()
  .getOrCreate();

然后我替换

spark.sql（“将数据本地INPATH'examples/src/main/resources/kv1.txt'加载到表src中”）；

我上传了kv1.txt的hdfs路径：

spark.sql("LOAD DATA LOCAL INPATH 'hdfs:///tmp/kv1.txt' INTO TABLE src");

最后一步是在pom.xml上使用

mvn包制作JAR-它构建时没有错误，并提供original-spark-examples_2.11-2.3.0-SNAPSHOT.JAR

我将程序集复制到Hadoop沙盒
scp-p2222./target/original-spark-examples_2.11-2.3.0-SNAPSHOT.jarroot@sandbox.hortonworks.com：/root

并使用spark submit运行代码
/usr/hdp/current/spark2 client/bin/spark submit--class“JavaSparkHiveExample”--master local./original-spark-examples_2.11-2.3.0-SNAPSHOT.jar

返回以下错误：

[root@sandbox-hdp ~]# /usr/hdp/current/spark2-client/bin/spark-submit --class "JavaSparkHiveExample" --master local ./original-spark-examples_2.11-2.3.0-SNAPSHOT.jar
java.lang.ClassNotFoundException: JavaSparkHiveExample
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:230)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:739)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
[root@sandbox-hdp ~]#

…在这里，我完全被卡住了，可能我错过了一些准备运行的代码的步骤等等

如果我能得到一些帮助，让这段代码在我的Hadoop沙箱上运行，我将非常高兴。我能够很好地运行JavaWordCount.java Spark示例，但对于这个示例，我完全被卡住了。谢谢：）

完成：

/*
*根据一个或多个许可证颁发给Apache软件基金会（ASF）
*贡献者许可协议。请参阅随附的通知文件
*本作品提供了有关版权所有权的更多信息。
*ASF根据Apache许可证2.0版将此文件许可给您
*（以下简称“许可证”）；除非符合以下要求，否则不得使用此文件
*执照。您可以通过以下方式获得许可证副本：
*
*    http://www.apache.org/licenses/LICENSE-2.0
*
*除非适用法律要求或书面同意，软件
*根据许可证进行的分发是按“原样”进行分发的，
*无任何明示或暗示的保证或条件。
*请参阅许可证以了解管理权限和权限的特定语言
*许可证下的限制。
*/
包org.apache.spark.examples.sql.hive；
//$示例：spark_hive$
导入java.io.File；
导入java.io.Serializable；
导入java.util.ArrayList；
导入java.util.List；
导入org.apache.spark.api.java.function.MapFunction；
导入org.apache.spark.sql.Dataset；
导入org.apache.spark.sql.Encoders；
导入org.apache.spark.sql.Row；
导入org.apache.spark.sql.SparkSession；
//$example off:spark_hive$
公共类JavaSparkHiveExample{
//$示例：spark_hive$
公共静态类记录实现可序列化{
私钥；
私有字符串值；
public int getKey（）{
返回键；
}
公共无效设置键（int键）{
this.key=key；
}
公共字符串getValue（）{
返回值；
}
公共void设置值（字符串值）{
这个值=值；
}
}
//$example off:spark_hive$
公共静态void main（字符串[]args）{
//$示例：spark_hive$
//warehouseLocation指向托管数据库和表的默认位置
String warehouseLocation=新文件（“spark warehouse”）.getAbsolutePath（）；
火花会话火花=火花会话
.builder（）
.appName（“Java Spark配置单元示例”）
.config（“spark.sql.warehouse.dir”，warehouseLocation）
.enableHiveSupport（）
.getOrCreate（）；
sql（“使用配置单元创建不存在的表src（key INT，value STRING））；
sql（“将数据本地INPATH'examples/src/main/resources/kv1.txt'加载到表src中”）；
//查询以HiveQL表示
sql（“SELECT*FROM src”）.show（）；
// +---+-------+
//|键|值|
// +---+-------+
//| 238 | val|238|
//| 86 | val|u 86|
//| 311 | val|u 311|
// ...
//还支持聚合查询。
sql（“从src中选择COUNT（*”）.show（）；
// +--------+
//|计数（1）|
// +--------+
// |    500 |
// +--------+
//SQL查询的结果本身就是数据帧，支持所有正常函数。
数据集sqlDF=spark.sql（“选择键，从src中选择值，其中键<10按键排序”）；
//DataFrames中的项属于Row类型，它允许您按顺序访问每一列。
数据集stringsDS=sqlDF.map(
（MapFunction）行->键：“+row.get（0）+”，值：“+row.get（1），
Encoders.STRING（））；
stringsDS.show（）；
// +--------------------+
//|价值|
// +--------------------+
//|键：0，值：val_0|
//|键：0，值：val_0|
//|键：0，值：val_0|
// ...
//还可以使用数据帧在SparkSession中创建临时视图。
列表记录=新的ArrayList（）；
用于（int key=1；key<100；key++）{
记录=新记录（）；
记录。设置键（键）；
记录设置值（“val_u3;”+键）；
记录。添加（记录）；
}
Dataset recordsDF=spark.createDataFrame（记录，记录，类）；
recordsDF.createOrReplaceTempView（“记录”）；
//然后，查询可以将DataFrames数据与存储在配置单元中的数据连接起来。
sql（“SELECT*FROM records r JOIN src s ON r.key=s.key”）.show（）；
// +---+------+---+------+
//|键|值|键|值|
// +---+------+---+------+
//| 2 | val|u 2 | 2 | val|u 2|
//| 2 | val|u 2 | 2 | val_
/*
 * Licensed to the Apache Software Foundation (ASF) under one or more
 * contributor license agreements.  See the NOTICE file distributed with
 * this work for additional information regarding copyright ownership.
 * The ASF licenses this file to You under the Apache License, Version 2.0
 * (the "License"); you may not use this file except in compliance with
 * the License.  You may obtain a copy of the License at
 *
 *    http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
package org.apache.spark.examples.sql.hive;

// $example on:spark_hive$
import java.io.File;
import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;

import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
// $example off:spark_hive$

public class JavaSparkHiveExample {

  // $example on:spark_hive$
  public static class Record implements Serializable {
    private int key;
    private String value;

    public int getKey() {
      return key;
    }

    public void setKey(int key) {
      this.key = key;
    }

    public String getValue() {
      return value;
    }

    public void setValue(String value) {
      this.value = value;
    }
  }
  // $example off:spark_hive$

  public static void main(String[] args) {
    // $example on:spark_hive$
    // warehouseLocation points to the default location for managed databases and tables
    String warehouseLocation = new File("spark-warehouse").getAbsolutePath();
    SparkSession spark = SparkSession
      .builder()
      .appName("Java Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate();

    spark.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) USING hive");
    spark.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src");

    // Queries are expressed in HiveQL
    spark.sql("SELECT * FROM src").show();
    // +---+-------+
    // |key|  value|
    // +---+-------+
    // |238|val_238|
    // | 86| val_86|
    // |311|val_311|
    // ...

    // Aggregation queries are also supported.
    spark.sql("SELECT COUNT(*) FROM src").show();
    // +--------+
    // |count(1)|
    // +--------+
    // |    500 |
    // +--------+

    // The results of SQL queries are themselves DataFrames and support all normal functions.
    Dataset<Row> sqlDF = spark.sql("SELECT key, value FROM src WHERE key < 10 ORDER BY key");

    // The items in DataFrames are of type Row, which lets you to access each column by ordinal.
    Dataset<String> stringsDS = sqlDF.map(
        (MapFunction<Row, String>) row -> "Key: " + row.get(0) + ", Value: " + row.get(1),
        Encoders.STRING());
    stringsDS.show();
    // +--------------------+
    // |               value|
    // +--------------------+
    // |Key: 0, Value: val_0|
    // |Key: 0, Value: val_0|
    // |Key: 0, Value: val_0|
    // ...

    // You can also use DataFrames to create temporary views within a SparkSession.
    List<Record> records = new ArrayList<>();
    for (int key = 1; key < 100; key++) {
      Record record = new Record();
      record.setKey(key);
      record.setValue("val_" + key);
      records.add(record);
    }
    Dataset<Row> recordsDF = spark.createDataFrame(records, Record.class);
    recordsDF.createOrReplaceTempView("records");

    // Queries can then join DataFrames data with data stored in Hive.
    spark.sql("SELECT * FROM records r JOIN src s ON r.key = s.key").show();
    // +---+------+---+------+
    // |key| value|key| value|
    // +---+------+---+------+
    // |  2| val_2|  2| val_2|
    // |  2| val_2|  2| val_2|
    // |  4| val_4|  4| val_4|
    // ...
    // $example off:spark_hive$

    spark.stop();
  }
}