Apache spark 使用配置单元查询远程集群的Spark SQL命令行
我试图在命令行中对远程Spark群集运行Spark SQL(配置单元查询)。但在连接到Spark master后,我得到了“找不到表” 这就是我从Apache spark 使用配置单元查询远程集群的Spark SQL命令行,apache-spark,hive,Apache Spark,Hive,我试图在命令行中对远程Spark群集运行Spark SQL(配置单元查询)。但在连接到Spark master后,我得到了“找不到表” 这就是我从$SPARK\u HOME/bin尝试的内容: ./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \ /../calliope-hive_2.10-1.1.0-CTP-U2.jar --master spark://<<master_url>&
$SPARK\u HOME/bin
尝试的内容:
./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \
/../calliope-hive_2.10-1.1.0-CTP-U2.jar --master spark://<<master_url>>:7277 \
--executor-memory 1000M --total-executor-cores 2 " select count(*) *****"
/spark sql--jars/../calliope-hive-assembly-1.1.0-CTP-U2-2.jar\
/../calliope-hive_2.10-1.1.0-CTP-U2.jar——主火花://:7277\
--执行器内存1000M—执行器内核总数2“选择计数(*)****”
这就是我得到的
查询中出错:未找到表:
请帮助配置单元中是否存在该表。?如果是,请确保为spark提供蜂巢配置。Spark应该了解配置单元元存储的详细信息,以获取表的元数据 请检查以下链接,了解集成
如果已经处理好了,请告诉我。如果注意到这一点,肯定还有其他问题。您好,Srini,感谢您的回复。我的场景是,我对我的spark master发起查询,我的表在Cassandra中。我的环境中没有隐式配置单元安装。在这种情况下,让我知道如何提供蜂巢配置以激发火花。我使用Spark 1.6对抗cassandra 3.0.4版本Hi Srini,感谢您的回复。我的场景是,我对我的spark master发起查询,我的表在Cassandra中。我的环境中没有隐式配置单元安装。在这种情况下,让我知道如何提供蜂巢配置以激发火花。我使用Spark 1.6对抗cassandra 3.0.4版本