Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
是否有python或scala工具连接spark/shark_Python_Scala_Apache Spark_Shark Sql - Fatal编程技术网

是否有python或scala工具连接spark/shark

是否有python或scala工具连接spark/shark,python,scala,apache-spark,shark-sql,Python,Scala,Apache Spark,Shark Sql,我想使用python或scala连接shark服务器。但我没有找到任何工具来做这件事。 是否有任何lib(python或scala/java)。 高级谢谢。不清楚你所说的连接是什么意思,但同时使用和说scala: $./bin/shark-shell scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20") scala> println(youngUsers.count) ... scala>

我想使用python或scala连接shark服务器。但我没有找到任何工具来做这件事。 是否有任何lib(python或scala/java)。
高级谢谢。

不清楚你所说的连接是什么意思,但同时使用和说scala:

$./bin/shark-shell
scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20")
scala> println(youngUsers.count)
...
scala> val featureMatrix = youngUsers.map(extractFeatures(_))
scala> kmeans(featureMatrix)
$。/bin/鲨鱼壳
scala>val youngUsers=sql2rdd(“从年龄<20岁的用户中选择*)
scala>println(youngUsers.count)
...
scala>val-featureMatrix=youngUsers.map(提取特征(u2;))
scala>kmeans(特征矩阵)

此外,spark也会说话

如果您想使用Shark运行SQL查询,Shark的行为类似于常规的配置单元节约服务器,因此您应该能够重用现有的Python方法来连接到配置单元,例如


Shark服务器还支持配置单元,所以您可以使用它来运行来自Scala或Java的查询;只需使用Shark服务器的地址来代替Hive服务器地址。

非常感谢!。这就是我想尝试的。