Apache spark Snappydata与外部配置单元的兼容性

Apache spark Snappydata与外部配置单元的兼容性,apache-spark,hadoop,hive,snappydata,Apache Spark,Hadoop,Hive,Snappydata,我正在尝试使用Snappydata 1.0.1从Hadoop(HDP2.6.3)读取和处理数据 当指向配置单元元存储时(通过Snappydata配置中的Hive-site.xml),Snappydata分发中的Spark可以读取数据库列表,但无法在Snappydata中创建表。它告诉“找不到表”。此外,Snappydata群集UI显示了该表,但Snappydata无法进一步使用该表-使用该表的INSERT、SELECT、DROP命令会抛出table not found错误,随后的CREATE t

我正在尝试使用Snappydata 1.0.1从Hadoop(HDP2.6.3)读取和处理数据

当指向配置单元元存储时(通过Snappydata配置中的Hive-site.xml),Snappydata分发中的Spark可以读取数据库列表,但无法在Snappydata中创建表。它告诉“找不到表”。此外,Snappydata群集UI显示了该表,但Snappydata无法进一步使用该表-使用该表的INSERT、SELECT、DROP命令会抛出table not found错误,随后的CREATE table会显示“table EXISTIES”

在不指定配置单元元存储的情况下,它工作得很好

hive-site.xml中的配置:


hive.metastore.uris
thrift://srv1.company.org:9083

此外,我们正在使用智能连接器模式

这看起来很奇怪——指向配置单元元存储破坏了Snappydata代码,它与外部配置单元完全无关(我们还没有从Hadoop读写)


有一种假设是Snappydata与我们的Hive元存储版本不兼容,这种不兼容会导致奇怪的行为。有人能澄清这个问题吗?

似乎要从Hadoop(Hive、HDFS)读取数据,我们必须在Snappydata中创建完全相同的外部表。也就是说,在Hadoop中有表A,我们必须在Snappydata中创建具有相同定义和外部关键字的表才能从Hadoop表A中读取数据。这可以通过Snappydata中存在自元数据存储来解释


然而,从文件中看不清楚。非常遗憾的是,近两周来没有人回答这个问题。

+1我也有同样的问题,可能是SmartConnectorMode中的SnappyStoreHiveCatalog错误。用户5316398,我刚刚为Valentin添加了解决方案。我们将更清楚地更新我们的文档。
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://srv1.company.org:9083</value>
</property>