Apache spark 在map函数中调用sparksql
在我的代码中,我需要为Apache spark 在map函数中调用sparksql,apache-spark,apache-spark-sql,apache-spark-dataset,Apache Spark,Apache Spark Sql,Apache Spark Dataset,在我的代码中,我需要为数据集的每一行调用spark sql 现在,spark sql需要SparkSession内部映射函数,该函数不可能作为广播变量传递 那么,在映射函数中是否有调用Spark SQL的方法呢 我在网上查过,但找不到任何与此相关的信息 我使用Java作为SPARK的编程语言 SPARK版本:2.3.0 提前感谢。映射将函数应用于数据集的每个项目,并返回另一个数据集。这里需要的是使用org.apache.spark.api.java.function.ForeachFunctio
数据集的每一行调用spark sql
现在,spark sql需要SparkSession
内部映射函数,该函数不可能作为广播变量传递
那么,在映射函数中是否有调用Spark SQL的方法呢
我在网上查过,但找不到任何与此相关的信息
我使用Java作为SPARK的编程语言
SPARK版本:2.3.0
提前感谢。映射将函数应用于数据集的每个项目
,并返回另一个数据集
。这里需要的是使用org.apache.spark.api.java.function.ForeachFunction
迭代每个项目。然后可以对每个项目执行spark sql
例如:
data.foreach((ForeachFunction<Row>) row -> System.out.println(row));
data.foreach((ForeachFunction)行->System.out.println(行));
能否编写要执行的SQL函数?向您提出所需的解决方案会容易得多。@ruslangm我想在SPARK的map函数中触发简单的SELECT查询。