是否有python或scala工具连接spark/shark
我想使用python或scala连接shark服务器。但我没有找到任何工具来做这件事。 是否有任何lib(python或scala/java)。是否有python或scala工具连接spark/shark,python,scala,apache-spark,shark-sql,Python,Scala,Apache Spark,Shark Sql,我想使用python或scala连接shark服务器。但我没有找到任何工具来做这件事。 是否有任何lib(python或scala/java)。 高级谢谢。不清楚你所说的连接是什么意思,但同时使用和说scala: $./bin/shark-shell scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20") scala> println(youngUsers.count) ... scala>
高级谢谢。不清楚你所说的连接是什么意思,但同时使用和说scala:
$./bin/shark-shell
scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20")
scala> println(youngUsers.count)
...
scala> val featureMatrix = youngUsers.map(extractFeatures(_))
scala> kmeans(featureMatrix)
$。/bin/鲨鱼壳
scala>val youngUsers=sql2rdd(“从年龄<20岁的用户中选择*)
scala>println(youngUsers.count)
...
scala>val-featureMatrix=youngUsers.map(提取特征(u2;))
scala>kmeans(特征矩阵)
此外,spark也会说话 如果您想使用Shark运行SQL查询,Shark的行为类似于常规的配置单元节约服务器,因此您应该能够重用现有的Python方法来连接到配置单元,例如
Shark服务器还支持配置单元,所以您可以使用它来运行来自Scala或Java的查询;只需使用Shark服务器的地址来代替Hive服务器地址。非常感谢!。这就是我想尝试的。