Scala 使用Spark SQL在Cassandra表上运行复杂的SQL查询

在这里，我已经设置卡桑德拉和火花与卡桑德拉-火花连接器。我能够使用Scala创建RDD。但是我想在Cassandra表上使用Spark SQL运行复杂的SQL查询（聚合/分析函数/窗口函数），您能帮助我如何继续吗

以下是使用的查询： sqlContext.sql( “”“创建临时表字” |使用org.apache.spark.sql.cassandra |选择权( |表“词语”， |键空间“测试”， |集群“测试集群”， |下推“真” |)“.stripMargin）

以下是错误：[在此处输入图像描述][2]

新错误：

---

我从你的帖子中注意到的第一件事是，

sqlContext.sql（…）

用于你的查询，但是你的屏幕截图显示了

sc.sql（…）

---

我将截图内容作为您的实际问题。在Spark shell中，加载shell之后，（sc）和（sqlContext）都已加载并准备就绪

sql（…）

在SparkContext中不存在，因此您应该尝试使用

sqlContext.sql（…）

我从你的帖子中注意到的第一件事是，

sqlContext.sql（…）

用于你的查询，但是你的屏幕截图显示了

sc.sql（…）

---

---

我将截图内容作为您的实际问题。在Spark shell中，加载shell之后，（sc）和（sqlContext）都已加载并准备就绪

sql（…）

在SparkContext中不存在，因此您应该尝试使用

sqlContext.sql（…）

在您的

spark shell

上下文中，最有可能是从

spark会话开始的，其值是
spark
。使用
spark
而不是
sqlContext
尝试您的命令，最有可能是在
sparkshell
上下文中，该上下文作为
spark会话启动，其值为
spark
。使用
spark
而不是
sqlContext
尝试您的命令。与CQL相比，spark SQL非常丰富，因此希望使用它实现分析。我能够使用scala为Cassandra表创建RDD。（我正在使用Ubuntu终端），但无法获得使用spark sql查询Cassandra表的确切过程。基于以下问题之一，您能否帮助执行以下用于启动spark-sql的命令：但获取错误$SPARK_HOME/bin/SPARK sql--包数据税：SPARK cassandra连接器：2.0.0-s_2.11--conf SPARK.cassandra.connection.host=127.0.0.1hi包括错误屏幕截图和使用的查询，请检查SPARK sql与CQL相比是否丰富，所以我想用这个来实现分析。我能够用scala为Cassandra表创建RDD。（我正在使用Ubuntu终端），但无法获得使用spark sql查询Cassandra表的确切过程。基于以下问题之一，您能否帮助执行以下用于启动spark-sql的命令：但获取错误$SPARK_HOME/bin/SPARK sql--packagesdatasax:SPARK cassandra连接器：2.0.0-s_2.11--conf SPARK.cassandra.connection.host=127.0.0.1hi包括错误截图和使用的查询，请检查，这一次我得到的错误是：error not found value sqlContext将屏幕截图添加到descirption上一个错误：sql不是org.apache的成员…**。。sparkcontext现在：未找到值SqlContext只需给sc并按enter键。看看会发生什么。对sqlContext.sc也做同样的操作：找不到值sc对sqlContext也一样是的，在Scala Now中感谢balaji，这次我得到了错误：错误找不到值sqlContext在描述中添加了屏幕截图上一个错误：sql不是org.apache的成员…**。。sparkcontext现在：未找到值SqlContext只需给sc并按enter键。看看会发生什么。并对sqlContext.sc执行相同的操作：未找到值sc也对sqlContext执行相同的操作是的，现在在Scala中