Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-apps-script/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark GeoMesa Spark can';不要使用自定义函数_Apache Spark_Geomesa - Fatal编程技术网

Apache spark GeoMesa Spark can';不要使用自定义函数

Apache spark GeoMesa Spark can';不要使用自定义函数,apache-spark,geomesa,Apache Spark,Geomesa,我想在Java中使用GeoMesa UDF函数,但我似乎无法使用任何函数,我有这些与GeoMesa相关的导入: import org.locationtech.jts.geom.*; import org.apache.spark.sql.types.*; import org.locationtech.geomesa.spark.jts.*; 但我不能在其中使用任何自定义函数: dataset.withColumn("column", st_makePoint(...))

我想在Java中使用GeoMesa UDF函数,但我似乎无法使用任何函数,我有这些与GeoMesa相关的导入:

import org.locationtech.jts.geom.*;
import org.apache.spark.sql.types.*;
import org.locationtech.geomesa.spark.jts.*;
但我不能在其中使用任何自定义函数:

dataset.withColumn("column", st_makePoint(...));
我有这些Maven依赖项:

    <dependency>
        <dependency>
        <groupId>org.locationtech.geomesa</groupId>
        <artifactId>geomesa-spark-jts_2.11</artifactId>
        <version>2.4.1</version>
    </dependency>
    <dependency>
        <groupId>org.locationtech.geomesa</groupId>
        <artifactId>geomesa-spark-sql_2.11</artifactId>
        <version>2.4.1</version>
    </dependency>
    <dependency>
        <groupId>org.locationtech.geomesa</groupId>
        <artifactId>geomesa-spark-core_2.11</artifactId>
        <version>2.4.1</version>
    </dependency>

org.locationtech.geomesa
geomesa-spark-jts_2.11
2.4.1
org.locationtech.geomesa
geomesa-spark-sql_2.11
2.4.1
org.locationtech.geomesa
geomesa-spark-core_2.11
2.4.1

它根本不认识st_makePoint,对此我能做些什么?

为了将地理空间UDF和UDT添加到Spark会话中,需要调用两条路径中的一条。对于JTS支持,可以按照以下步骤操作:(基本上,在Spark会话中调用.withJTS)

或者,使用Spark SQL从GeoMesa数据源创建数据帧也应注册UDT和UDF。()

支持的地理空间功能的完整列表如下:


作为编辑,Spark SQL API、DataFrame API和PySpark API在GeoMesa中都需要单独的绑定。如果我错了,那么无法在其他API之一中使用Spark SQL Functions文档中的函数就是一个错误,应该在GeoMesa JIRA中填写:。

为了将地理空间UDF和UDT添加到Spark会话中,需要调用两个路径之一。对于JTS支持,可以按照以下步骤操作:(基本上,在Spark会话中调用.withJTS)

或者,使用Spark SQL从GeoMesa数据源创建数据帧也应注册UDT和UDF。()

支持的地理空间功能的完整列表如下:

作为编辑,Spark SQL API、DataFrame API和PySpark API在GeoMesa中都需要单独的绑定。如果我错了,那么无法在其他API之一中使用Spark SQL Functions文档中的函数就是一个bug,应该在GeoMesa JIRA中填写,如下所示: