Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 使用配置单元查询远程集群的Spark SQL命令行_Apache Spark_Hive - Fatal编程技术网

Apache spark 使用配置单元查询远程集群的Spark SQL命令行

Apache spark 使用配置单元查询远程集群的Spark SQL命令行,apache-spark,hive,Apache Spark,Hive,我试图在命令行中对远程Spark群集运行Spark SQL(配置单元查询)。但在连接到Spark master后,我得到了“找不到表” 这就是我从$SPARK\u HOME/bin尝试的内容: ./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \ /../calliope-hive_2.10-1.1.0-CTP-U2.jar --master spark://<<master_url>&

我试图在命令行中对远程Spark群集运行Spark SQL(配置单元查询)。但在连接到Spark master后,我得到了“找不到表”

这就是我从
$SPARK\u HOME/bin
尝试的内容:

./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \
    /../calliope-hive_2.10-1.1.0-CTP-U2.jar  --master spark://<<master_url>>:7277 \
    --executor-memory 1000M --total-executor-cores 2 " select count(*) *****"
/spark sql--jars/../calliope-hive-assembly-1.1.0-CTP-U2-2.jar\
/../calliope-hive_2.10-1.1.0-CTP-U2.jar——主火花://:7277\
--执行器内存1000M—执行器内核总数2“选择计数(*)****”
这就是我得到的

查询中出错:未找到表:


请帮助

配置单元中是否存在该表。?如果是,请确保为spark提供蜂巢配置。Spark应该了解配置单元元存储的详细信息,以获取表的元数据

请检查以下链接,了解集成


如果已经处理好了,请告诉我。如果注意到这一点,肯定还有其他问题。

您好,Srini,感谢您的回复。我的场景是,我对我的spark master发起查询,我的表在Cassandra中。我的环境中没有隐式配置单元安装。在这种情况下,让我知道如何提供蜂巢配置以激发火花。我使用Spark 1.6对抗cassandra 3.0.4版本Hi Srini,感谢您的回复。我的场景是,我对我的spark master发起查询,我的表在Cassandra中。我的环境中没有隐式配置单元安装。在这种情况下,让我知道如何提供蜂巢配置以激发火花。我使用Spark 1.6对抗cassandra 3.0.4版本