Apache spark Apache spark WHERE子句不起作用

Apache spark Apache spark WHERE子句不起作用,apache-spark,pyspark,apache-spark-sql,pyspark-sql,apache-spark-1.6,Apache Spark,Pyspark,Apache Spark Sql,Pyspark Sql,Apache Spark 1.6,我正在一个较小的纱线集群上运行ApacheSpark1.6.1。我正在尝试使用如下查询从配置单元表中拉入数据: df = hiveCtx.sql(""" SELECT * FROM hive_database.gigantic_table WHERE loaddate = '20170502' """) 但是,无论我为loaddate提供了什么值,结果数据框都是整个表。我能想到的唯一奇怪的事情是,配置单元表是由loaddate列进行分区的 只有配置单元才能正确运行此查询。我尝试使用.fi

我正在一个较小的纱线集群上运行ApacheSpark1.6.1。我正在尝试使用如下查询从配置单元表中拉入数据:

df = hiveCtx.sql("""
SELECT *
  FROM hive_database.gigantic_table
 WHERE loaddate = '20170502'
""")
但是,无论我为loaddate提供了什么值,结果数据框都是整个表。我能想到的唯一奇怪的事情是,配置单元表是由loaddate列进行分区的


只有配置单元才能正确运行此查询。我尝试使用
.filter()
和各种级别的引号强制转换为int,但Spark没有成功。

结果表明,分区列上的过滤区分大小写