Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Snappydata存储与现有spark安装中的配置单元元存储_Apache Spark_Hive_Snappydata - Fatal编程技术网

Apache spark Snappydata存储与现有spark安装中的配置单元元存储

Apache spark Snappydata存储与现有spark安装中的配置单元元存储,apache-spark,hive,snappydata,Apache Spark,Hive,Snappydata,我正在HDP2.6.2、spark 2.1.1上使用snappydata-1.0.1,并且能够从外部spark应用程序进行连接。但是,当我通过向spark conf添加hive-site.xml来启用配置单元支持时,snappysession将列出hivemetastore中的表,而不是snappystore中的表 SparkConf sparkConf = new SparkConf().setAppName("TEST APP"); JavaSparkContext javaSparkCon

我正在HDP2.6.2、spark 2.1.1上使用snappydata-1.0.1,并且能够从外部spark应用程序进行连接。但是,当我通过向spark conf添加hive-site.xml来启用配置单元支持时,snappysession将列出hivemetastore中的表,而不是snappystore中的表

SparkConf sparkConf = new SparkConf().setAppName("TEST APP");
JavaSparkContext javaSparkContxt = new JavaSparkContext(sparkConf);
SparkSession sps = new SparkSession.Builder().enableHiveSupport().getOrCreate();
SnappySession snc = new SnappySession(new SparkSession(javaSparkContxt.sc()).sparkContext());
snc.sqlContext().sql("show tables").show();
如果添加了hive-site.xml,则上面的代码为我提供了当hive-site.xml不在sparkconf中时snappy store中的表列表。。它列出了hive metastore中的表

不能在同一应用程序中使用配置单元元存储和snappydata元存储吗? 是否可以将配置单元表读入数据帧,将snappydata表读入同一应用程序中的另一个DF?
提前感谢

所以,问题不在于hive元存储。可以在同一应用程序中使用配置单元表和Snappy表。例如。 但是,我们需要测试在hive-site.xml中配置的外部配置单元元存储的使用情况。也许是虫子


您应该尝试使用Snappy智能连接器。i、 e.使用HDP中的Spark分发运行Spark,并使用连接器连接到Snappydata群集(请参阅文档)。在这里,您似乎正在尝试使用Snappydata分发版运行Spark应用程序

我正在使用HDP Spark distribution,并使用智能连接器连接到snappydata。对我来说像个虫子。我已经跟踪了snappydata中的文档,它在没有hive-site.xml的情况下可以正常工作