Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在map函数中调用sparksql_Apache Spark_Apache Spark Sql_Apache Spark Dataset - Fatal编程技术网

Apache spark 在map函数中调用sparksql

Apache spark 在map函数中调用sparksql,apache-spark,apache-spark-sql,apache-spark-dataset,Apache Spark,Apache Spark Sql,Apache Spark Dataset,在我的代码中,我需要为数据集的每一行调用spark sql 现在,spark sql需要SparkSession内部映射函数,该函数不可能作为广播变量传递 那么,在映射函数中是否有调用Spark SQL的方法呢 我在网上查过,但找不到任何与此相关的信息 我使用Java作为SPARK的编程语言 SPARK版本:2.3.0 提前感谢。映射将函数应用于数据集的每个项目,并返回另一个数据集。这里需要的是使用org.apache.spark.api.java.function.ForeachFunctio

在我的代码中,我需要为
数据集的每一行调用spark sql

现在,spark sql需要
SparkSession
内部映射函数,该函数不可能作为广播变量传递

那么,在映射函数中是否有调用Spark SQL的方法呢

我在网上查过,但找不到任何与此相关的信息

我使用Java作为SPARK的编程语言

SPARK版本:2.3.0


提前感谢。

映射将函数应用于
数据集的每个项目
,并返回另一个
数据集
。这里需要的是使用
org.apache.spark.api.java.function.ForeachFunction
迭代每个项目。然后可以对每个项目执行spark sql

例如:

data.foreach((ForeachFunction<Row>) row -> System.out.println(row));
data.foreach((ForeachFunction)行->System.out.println(行));

能否编写要执行的SQL函数?向您提出所需的解决方案会容易得多。@ruslangm我想在SPARK的map函数中触发简单的SELECT查询。