Scala 我可以使用spark作为服务吗
用例是我希望将数据帧作为对象返回给rest服务。 Rest服务没有spark上下文控制。 那么,是否有任何方法可以执行ANSI查询,比如如何在RegisterAstetrable上执行查询。Scala 我可以使用spark作为服务吗,scala,rest,apache-spark,dataframe,architecture,Scala,Rest,Apache Spark,Dataframe,Architecture,用例是我希望将数据帧作为对象返回给rest服务。 Rest服务没有spark上下文控制。 那么,是否有任何方法可以执行ANSI查询,比如如何在RegisterAstetrable上执行查询。 我将从rest服务传递表名和查询。然后我应该返回一些东西作为一个对象,我可以在视图中显示为一个表 如果有任何替代方法,那么也请提出建议。但我想使用spark作为基本框架。不,您不能将DataFrame返回到Rest服务。它在Spark上下文之外不起作用 Spark没有现成的服务支持 但是,您可以: 启动并查
我将从rest服务传递表名和查询。然后我应该返回一些东西作为一个对象,我可以在视图中显示为一个表
如果有任何替代方法,那么也请提出建议。但我想使用spark作为基本框架。不,您不能将DataFrame返回到Rest服务。它在Spark上下文之外不起作用 Spark没有现成的服务支持 但是,您可以:
/get/table/row=1
,您必须准备自己的服务,该服务将提交具有适当计算的作业
结论:
不,Spark没有内置的REST服务来查询数据。但是,它有一些选项可以运行REST样式的预定义作业和查询数据。但是,这需要构建您自己的服务。他们必须使用预定义的作业查询适当的Spark API
如果您想运行SQL查询,请考虑使用JDBC SCAPEL服务器作为服务的数据源。