Java SparkSql不支持日期格式

Java SparkSql不支持日期格式,java,apache-spark,Java,Apache Spark,我尝试将日期文件与sparkSql一起使用,但它不起作用 比如说 我试图添加DateColumn dob 在Person类中,我添加了 dob作为日期的设置器和获取器 当试图执行时 SELECT dob,name,age,count(*) as totalCount FROM Person WHERE dob >= '1995-01-01' AND age <= '2014-02-01'; 它仍处于挂起状态,您可以在Person类中使用Timestamp Spark SQL目前

我尝试将日期文件与sparkSql一起使用,但它不起作用

比如说

我试图添加DateColumn dob

在Person类中,我添加了

dob作为日期的设置器和获取器

当试图执行时

SELECT dob,name,age,count(*) as totalCount FROM Person WHERE dob >= '1995-01-01' AND age <= '2014-02-01';

它仍处于挂起状态,您可以在
Person
类中使用
Timestamp

Spark SQL目前支持时间戳,但不支持日期

我们将不得不等待一段时间,直到1.2.0版本

详情:

  • 类型:改进
  • 状态:打开
  • 优先:未成年人
  • 解决方案:未解决
  • 影响版本:1.0.1
  • 修复版本:无
  • 组件:SQL
  • 目标版本/s:1.2.0

似乎它不支持时间戳以及线程“main”scala.MatchError中的异常:org.apache.spark.sql.api.java.JavaSQLContext$$anonfun$getSchema$1.apply(JavaSQLContext.scala:140)org.apache.spark.sql.api.java.JavaSQLContext$$anonfun$getSchema$1.apply(JavaSQLContext.scala:139)我是否遗漏了自1.0以来一直被修复的东西,我一直在四处寻找,所有的支持看起来都已经被合并(spark-1.0.2\sql\catalyst\src\main\scala\org\apache\spark\sql\catalyst\types\dataTypes.scala)和(hive support),至少在1.0.2版本中,但我看到了一个可疑的代码(spark-1.0.2\sql\core\src\main\scala\org\apache\spark\sql\column\ColumnType.scala)这没有包含对时间戳的引用,即使您可以找到一些修补程序和相关的提交。它看起来还没有100%解决。参考:我使用spark 1.2.0,我得到了相同的异常,尽管票证已解决。也尝试了1.2.1-相同的结果。
/Volumes/Official/spark-1.0.2-bin-hadoop2$: bin/spark-submit --class "SimpleApp" --master local[4] try/simple-project/target/simple-project-1.0.jar 
Spark assembly has been built with Hive, including Datanucleus jars on classpath
2014-08-21 11:42:47.360 java[955:1903] Unable to load realm mapping info from SCDynamicStore
=== Data source: RDD ===
Exception in thread "main" scala.MatchError: class java.util.Date (of class java.lang.Class)