Apache spark GeoMesa Spark can';不要使用自定义函数
我想在Java中使用GeoMesa UDF函数,但我似乎无法使用任何函数,我有这些与GeoMesa相关的导入:Apache spark GeoMesa Spark can';不要使用自定义函数,apache-spark,geomesa,Apache Spark,Geomesa,我想在Java中使用GeoMesa UDF函数,但我似乎无法使用任何函数,我有这些与GeoMesa相关的导入: import org.locationtech.jts.geom.*; import org.apache.spark.sql.types.*; import org.locationtech.geomesa.spark.jts.*; 但我不能在其中使用任何自定义函数: dataset.withColumn("column", st_makePoint(...))
import org.locationtech.jts.geom.*;
import org.apache.spark.sql.types.*;
import org.locationtech.geomesa.spark.jts.*;
但我不能在其中使用任何自定义函数:
dataset.withColumn("column", st_makePoint(...));
我有这些Maven依赖项:
<dependency>
<dependency>
<groupId>org.locationtech.geomesa</groupId>
<artifactId>geomesa-spark-jts_2.11</artifactId>
<version>2.4.1</version>
</dependency>
<dependency>
<groupId>org.locationtech.geomesa</groupId>
<artifactId>geomesa-spark-sql_2.11</artifactId>
<version>2.4.1</version>
</dependency>
<dependency>
<groupId>org.locationtech.geomesa</groupId>
<artifactId>geomesa-spark-core_2.11</artifactId>
<version>2.4.1</version>
</dependency>
org.locationtech.geomesa
geomesa-spark-jts_2.11
2.4.1
org.locationtech.geomesa
geomesa-spark-sql_2.11
2.4.1
org.locationtech.geomesa
geomesa-spark-core_2.11
2.4.1
它根本不认识st_makePoint,对此我能做些什么?为了将地理空间UDF和UDT添加到Spark会话中,需要调用两条路径中的一条。对于JTS支持,可以按照以下步骤操作:(基本上,在Spark会话中调用.withJTS) 或者,使用Spark SQL从GeoMesa数据源创建数据帧也应注册UDT和UDF。() 支持的地理空间功能的完整列表如下:
作为编辑,Spark SQL API、DataFrame API和PySpark API在GeoMesa中都需要单独的绑定。如果我错了,那么无法在其他API之一中使用Spark SQL Functions文档中的函数就是一个错误,应该在GeoMesa JIRA中填写:。为了将地理空间UDF和UDT添加到Spark会话中,需要调用两个路径之一。对于JTS支持,可以按照以下步骤操作:(基本上,在Spark会话中调用.withJTS) 或者,使用Spark SQL从GeoMesa数据源创建数据帧也应注册UDT和UDF。() 支持的地理空间功能的完整列表如下: 作为编辑,Spark SQL API、DataFrame API和PySpark API在GeoMesa中都需要单独的绑定。如果我错了,那么无法在其他API之一中使用Spark SQL Functions文档中的函数就是一个bug,应该在GeoMesa JIRA中填写,如下所示: