Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 我可以使用spark作为服务吗_Scala_Rest_Apache Spark_Dataframe_Architecture - Fatal编程技术网

Scala 我可以使用spark作为服务吗

Scala 我可以使用spark作为服务吗,scala,rest,apache-spark,dataframe,architecture,Scala,Rest,Apache Spark,Dataframe,Architecture,用例是我希望将数据帧作为对象返回给rest服务。 Rest服务没有spark上下文控制。 那么,是否有任何方法可以执行ANSI查询,比如如何在RegisterAstetrable上执行查询。 我将从rest服务传递表名和查询。然后我应该返回一些东西作为一个对象,我可以在视图中显示为一个表 如果有任何替代方法,那么也请提出建议。但我想使用spark作为基本框架。不,您不能将DataFrame返回到Rest服务。它在Spark上下文之外不起作用 Spark没有现成的服务支持 但是,您可以: 启动并查

用例是我希望将数据帧作为对象返回给rest服务。 Rest服务没有spark上下文控制。 那么,是否有任何方法可以执行ANSI查询,比如如何在RegisterAstetrable上执行查询。
我将从rest服务传递表名和查询。然后我应该返回一些东西作为一个对象,我可以在视图中显示为一个表


如果有任何替代方法,那么也请提出建议。但我想使用spark作为基本框架。

不,您不能将DataFrame返回到Rest服务。它在Spark上下文之外不起作用

Spark没有现成的服务支持

但是,您可以:

  • 启动并查询此服务器。是连接到此服务器的教程。它不是REST服务,它只是JDBC服务器。您可以从REST服务连接到它(但不是以REST方式,只是用作数据源),将其用作数据源
  • 向服务器提交作业-您的服务可能会调用Livy在Spark中运行某些作业
  • 提交作业到-您的服务可能会调用Livy在Spark中运行某些作业,但在这种情况下,作业文件必须位于集群中的JAR文件中
  • 第二个和第三个选项都需要准备好的作业代码。您可以通过查询调用REST服务而不是REST服务
    /get/table/row=1
    ,您必须准备自己的服务,该服务将提交具有适当计算的作业

    结论: 不,Spark没有内置的REST服务来查询数据。但是,它有一些选项可以运行REST样式的预定义作业和查询数据。但是,这需要构建您自己的服务。他们必须使用预定义的作业查询适当的Spark API

    如果您想运行SQL查询,请考虑使用JDBC SCAPEL服务器作为服务的数据源。