Apache spark Snappydata存储与现有spark安装中的配置单元元存储
我正在HDP2.6.2、spark 2.1.1上使用snappydata-1.0.1,并且能够从外部spark应用程序进行连接。但是,当我通过向spark conf添加hive-site.xml来启用配置单元支持时,snappysession将列出hivemetastore中的表,而不是snappystore中的表Apache spark Snappydata存储与现有spark安装中的配置单元元存储,apache-spark,hive,snappydata,Apache Spark,Hive,Snappydata,我正在HDP2.6.2、spark 2.1.1上使用snappydata-1.0.1,并且能够从外部spark应用程序进行连接。但是,当我通过向spark conf添加hive-site.xml来启用配置单元支持时,snappysession将列出hivemetastore中的表,而不是snappystore中的表 SparkConf sparkConf = new SparkConf().setAppName("TEST APP"); JavaSparkContext javaSparkCon
SparkConf sparkConf = new SparkConf().setAppName("TEST APP");
JavaSparkContext javaSparkContxt = new JavaSparkContext(sparkConf);
SparkSession sps = new SparkSession.Builder().enableHiveSupport().getOrCreate();
SnappySession snc = new SnappySession(new SparkSession(javaSparkContxt.sc()).sparkContext());
snc.sqlContext().sql("show tables").show();
如果添加了hive-site.xml,则上面的代码为我提供了当hive-site.xml不在sparkconf中时snappy store中的表列表。。它列出了hive metastore中的表
不能在同一应用程序中使用配置单元元存储和snappydata元存储吗?
是否可以将配置单元表读入数据帧,将snappydata表读入同一应用程序中的另一个DF?
提前感谢所以,问题不在于hive元存储。可以在同一应用程序中使用配置单元表和Snappy表。例如。 但是,我们需要测试在hive-site.xml中配置的外部配置单元元存储的使用情况。也许是虫子
您应该尝试使用Snappy智能连接器。i、 e.使用HDP中的Spark分发运行Spark,并使用连接器连接到Snappydata群集(请参阅文档)。在这里,您似乎正在尝试使用Snappydata分发版运行Spark应用程序 我正在使用HDP Spark distribution,并使用智能连接器连接到snappydata。对我来说像个虫子。我已经跟踪了snappydata中的文档,它在没有hive-site.xml的情况下可以正常工作