Java 从Spark连接到蜂箱，无需使用；“hive site.xml”；

有没有办法不使用“Hive site.xml”就从Spark连接到Hive

---

我们正在将“hive site.xml”传递给SparkLauncher。我想删除对“hive site.xml”的依赖。请在此处输入代码。

Spark SQL支持读取和写入存储在Apache hive中的数据。但是，由于配置单元具有大量依赖项，这些依赖项不包括在默认的Spark分发中。如果可以在类路径上找到配置单元依赖项，Spark将自动加载它们。请注意，这些配置单元依赖项也必须存在于所有工作节点上，因为它们需要访问配置单元序列化和反序列化库（SERDE）才能访问存储在配置单元中的数据

配置单元的配置是通过将Hive-site.xml、core-site.xml（用于安全配置）和hdfs-site.xml（用于hdfs配置）文件放在conf/中完成的

使用配置单元时，必须使用配置单元支持实例化SparkSession，包括到持久配置单元元存储的连接、对配置单元序列的支持以及配置单元用户定义函数。没有现有配置单元部署的用户仍然可以启用配置单元支持。当未通过hive-site.xml配置时，上下文会自动在当前目录中创建metastore_db，并创建由spark.sql.warehouse.dir配置的目录，默认为启动spark应用程序的当前目录中的spark warehouse目录。请注意，自Spark 2.0.0以来，hive-site.xml中的hive.metastore.warehouse.dir属性已被弃用。相反，请使用spark.sql.warehouse.dir指定数据库在仓库中的默认位置。您可能需要向启动Spark应用程序的用户授予写入权限

import java.io.File;
import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;

import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public static class Record implements Serializable {
  private int key;
  private String value;

  public int getKey() {
    return key;
  }

  public void setKey(int key) {
    this.key = key;
  }

  public String getValue() {
    return value;
  }

  public void setValue(String value) {
    this.value = value;
  }
}

// warehouseLocation points to the default location for managed databases and tables
String warehouseLocation = new File("spark-warehouse").getAbsolutePath();
SparkSession spark = SparkSession
  .builder()
  .appName("Java Spark Hive Example")
  .config("spark.sql.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate();

spark.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) USING hive");
spark.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src");

// Queries are expressed in HiveQL
spark.sql("SELECT * FROM src").show();
// +---+-------+
// |key|  value|
// +---+-------+
// |238|val_238|
// | 86| val_86|
// |311|val_311|
// ...

// Aggregation queries are also supported.
spark.sql("SELECT COUNT(*) FROM src").show();
// +--------+
// |count(1)|
// +--------+
// |    500 |
// +--------+

// The results of SQL queries are themselves DataFrames and support all normal functions.
Dataset<Row> sqlDF = spark.sql("SELECT key, value FROM src WHERE key < 10 ORDER BY key");

// The items in DataFrames are of type Row, which lets you to access each column by ordinal.
Dataset<String> stringsDS = sqlDF.map(
    (MapFunction<Row, String>) row -> "Key: " + row.get(0) + ", Value: " + row.get(1),
    Encoders.STRING());
stringsDS.show();
// +--------------------+
// |               value|
// +--------------------+
// |Key: 0, Value: val_0|
// |Key: 0, Value: val_0|
// |Key: 0, Value: val_0|
// ...

// You can also use DataFrames to create temporary views within a SparkSession.
List<Record> records = new ArrayList<>();
for (int key = 1; key < 100; key++) {
  Record record = new Record();
  record.setKey(key);
  record.setValue("val_" + key);
  records.add(record);
}
Dataset<Row> recordsDF = spark.createDataFrame(records, Record.class);
recordsDF.createOrReplaceTempView("records");

// Queries can then join DataFrames data with data stored in Hive.
spark.sql("SELECT * FROM records r JOIN src s ON r.key = s.key").show();
// +---+------+---+------+
// |key| value|key| value|
// +---+------+---+------+
// |  2| val_2|  2| val_2|
// |  2| val_2|  2| val_2|
// |  4| val_4|  4| val_4|
// ...

导入java.io.File；
导入java.io.Serializable；
导入java.util.ArrayList；
导入java.util.List；
导入org.apache.spark.api.java.function.MapFunction；
导入org.apache.spark.sql.Dataset；
导入org.apache.spark.sql.Encoders；
导入org.apache.spark.sql.Row；
导入org.apache.spark.sql.SparkSession；
公共静态类记录实现可序列化{
私钥；
私有字符串值；
public int getKey（）{
返回键；
}
公共无效设置键（int键）{
this.key=key；
}
公共字符串getValue（）{
返回值；
}
公共void设置值（字符串值）{
这个值=值；
}
}
//warehouseLocation指向托管数据库和表的默认位置
String warehouseLocation=新文件（“spark warehouse”）.getAbsolutePath（）；
火花会话火花=火花会话
.builder（）
.appName（“Java Spark配置单元示例”）
.config（“spark.sql.warehouse.dir”，warehouseLocation）
.enableHiveSupport（）
.getOrCreate（）；
sql（“使用配置单元创建不存在的表src（key INT，value STRING））；
sql（“将数据本地INPATH'examples/src/main/resources/kv1.txt'加载到表src中”）；
//查询以HiveQL表示
sql（“SELECT*FROM src”）.show（）；
// +---+-------+
//|键|值|
// +---+-------+
//| 238 | val|238|
//| 86 | val|u 86|
//| 311 | val|u 311|
// ...
//还支持聚合查询。
sql（“从src中选择COUNT（*”）.show（）；
// +--------+
//|计数（1）|
// +--------+
// |    500 |
// +--------+
//SQL查询的结果本身就是数据帧，支持所有正常函数。
数据集sqlDF=spark.sql（“选择键，从src中选择值，其中键<10按键排序”）；
//DataFrames中的项属于Row类型，它允许您按顺序访问每一列。
数据集stringsDS=sqlDF.map(
（MapFunction）行->键：“+row.get（0）+”，值：“+row.get（1），
Encoders.STRING（））；
stringsDS.show（）；
// +--------------------+
//|价值|
// +--------------------+
//|键：0，值：val_0|
//|键：0，值：val_0|
//|键：0，值：val_0|
// ...
//还可以使用数据帧在SparkSession中创建临时视图。
列表记录=新的ArrayList（）；
用于（int key=1；key<100；key++）{
记录=新记录（）；
记录。设置键（键）；
记录设置值（“val_u3;”+键）；
记录。添加（记录）；
}
Dataset recordsDF=spark.createDataFrame（记录，记录，类）；
recordsDF.createOrReplaceTempView（“记录”）；
//然后，查询可以将DataFrames数据与存储在配置单元中的数据连接起来。
sql（“SELECT*FROM records r JOIN src s ON r.key=s.key”）.show（）；
// +---+------+---+------+
//|键|值|键|值|
// +---+------+---+------+
//| 2 | val|u 2 | 2 | val|u 2|
//| 2 | val|u 2 | 2 | val|u 2|
//| 4 | val|u 4 | 4 | val|u 4|
// ...

谢谢。将尝试启用配置单元支持。这对您有帮助吗？

import java.io.File;
import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;

import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public static class Record implements Serializable {
  private int key;
  private String value;

  public int getKey() {
    return key;
  }

  public void setKey(int key) {
    this.key = key;
  }

  public String getValue() {
    return value;
  }

  public void setValue(String value) {
    this.value = value;
  }
}

// warehouseLocation points to the default location for managed databases and tables
String warehouseLocation = new File("spark-warehouse").getAbsolutePath();
SparkSession spark = SparkSession
  .builder()
  .appName("Java Spark Hive Example")
  .config("spark.sql.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate();

spark.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) USING hive");
spark.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src");

// Queries are expressed in HiveQL
spark.sql("SELECT * FROM src").show();
// +---+-------+
// |key|  value|
// +---+-------+
// |238|val_238|
// | 86| val_86|
// |311|val_311|
// ...

// Aggregation queries are also supported.
spark.sql("SELECT COUNT(*) FROM src").show();
// +--------+
// |count(1)|
// +--------+
// |    500 |
// +--------+

// The results of SQL queries are themselves DataFrames and support all normal functions.
Dataset<Row> sqlDF = spark.sql("SELECT key, value FROM src WHERE key < 10 ORDER BY key");

// The items in DataFrames are of type Row, which lets you to access each column by ordinal.
Dataset<String> stringsDS = sqlDF.map(
    (MapFunction<Row, String>) row -> "Key: " + row.get(0) + ", Value: " + row.get(1),
    Encoders.STRING());
stringsDS.show();
// +--------------------+
// |               value|
// +--------------------+
// |Key: 0, Value: val_0|
// |Key: 0, Value: val_0|
// |Key: 0, Value: val_0|
// ...

// You can also use DataFrames to create temporary views within a SparkSession.
List<Record> records = new ArrayList<>();
for (int key = 1; key < 100; key++) {
  Record record = new Record();
  record.setKey(key);
  record.setValue("val_" + key);
  records.add(record);
}
Dataset<Row> recordsDF = spark.createDataFrame(records, Record.class);
recordsDF.createOrReplaceTempView("records");

// Queries can then join DataFrames data with data stored in Hive.
spark.sql("SELECT * FROM records r JOIN src s ON r.key = s.key").show();
// +---+------+---+------+
// |key| value|key| value|
// +---+------+---+------+
// |  2| val_2|  2| val_2|
// |  2| val_2|  2| val_2|
// |  4| val_4|  4| val_4|
// ...