Hive 使用CDH 5.4和Spark 1.3.0的PySpark中的拼花地板错误，带有蜂巢中的拼花桌

我正在运行CDH 5.4，使用Spark 1.3.0和Spark on纱线支持。 当我在HIVE中创建一个简单的拼花地板表，然后尝试使用PySpark对其执行转换或聚合时，它会向我抛出此错误消息。有什么想法吗？要重现问题，请执行以下操作

蜂巢：

Pypark：

test = sqlCtx.table("testtable_parquet")
test.filter(test.identifier == "id1")

错误

Py4JJavaError回溯（最近一次调用）
在（）
1测试=sqlCtx.table（“测试表\拼花地板”）
---->2.test.filter（test.identifier==“id1”）
/过滤器中的usr/lib/spark/python/pyspark/sql/dataframe.py（self，condition）
627 jdf=self.\u jdf.过滤器（条件）
628 elif isinstance（条件、列）：
-->629 jdf=self.\u jdf.filter（条件）
630其他：
631 raise TypeError（“条件应为字符串或列”）
/usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py in____调用（self，*args）
536 answer=self.gateway\u client.send\u命令（command）
537返回值=获取返回值（应答，self.gateway\u客户端，
-->538 self.target_id，self.name）
539
540对于临时参数中的临时参数：
/获取返回值中的usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py（答案、网关客户端、目标id、名称）
298 raise Py4JJavaError(
299'调用{0}{1}{2}时出错。\n'。
-->300格式（目标id，，，，名称），值）
301其他：
302升起Py4JError(
Py4JJavaError:调用o34.filter时出错。
：org.apache.spark.sql.AnalysisException:投资id、标识符、包id、asofdate中缺少已解析的属性标识符；
位于org.apache.spark.sql.catalyst.analysis.CheckAnalysis.failAnalysis（CheckAnalysis.scala:37）
位于org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$apply$3.apply（CheckAnalysis.scala:93）
位于org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$apply$3.apply（CheckAnalysis.scala:43）
位于org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp（TreeNode.scala:88）
位于org.apache.spark.sql.catalyst.analysis.CheckAnalysis.apply（CheckAnalysis.scala:43）
位于org.apache.spark.sql.SQLContext$QueryExecution.assertAnalyzed（SQLContext.scala:1069）
位于org.apache.spark.sql.DataFrame（DataFrame.scala:133）
位于org.apache.spark.sql.DataFrame.logicalPlanToDataFrame（DataFrame.scala:157）
位于org.apache.spark.sql.DataFrame.filter（DataFrame.scala:508）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）中
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:606）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:231）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:379）
在py4j.Gateway.invoke处（Gateway.java:259）
位于py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:133）
在py4j.commands.CallCommand.execute（CallCommand.java:79）
在py4j.GatewayConnection.run处（GatewayConnection.java:207）
运行（Thread.java:745）

播放一段时间后，问题的解决方案似乎是首先运行此set conf命令，这仅在您希望Spark与Hive通话时才需要：

sqlCtx.setConf("spark.sql.hive.convertMetastoreParquet", "false")

---

在播放一段时间后，问题的解决方案似乎是首先运行这个setconf命令，这仅在您希望Spark与Hive对话时才需要

Py4JJavaError                             Traceback (most recent call last)
<ipython-input-3-690105998113> in <module>()
      1 test = sqlCtx.table("testtable_parquet")
----> 2 test.filter(test.identifier == "id1")

/usr/lib/spark/python/pyspark/sql/dataframe.py in filter(self, condition)
    627             jdf = self._jdf.filter(condition)
    628         elif isinstance(condition, Column):
--> 629             jdf = self._jdf.filter(condition._jc)
    630         else:
    631             raise TypeError("condition should be string or Column")

/usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py in __call__(self, *args)
    536         answer = self.gateway_client.send_command(command)
    537         return_value = get_return_value(answer, self.gateway_client,
--> 538                 self.target_id, self.name)
    539 
    540         for temp_arg in temp_args:

/usr/lib/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
    298                 raise Py4JJavaError(
    299                     'An error occurred while calling {0}{1}{2}.\n'.
--> 300                     format(target_id, '.', name), value)
    301             else:
    302                 raise Py4JError(

Py4JJavaError: An error occurred while calling o34.filter.
: org.apache.spark.sql.AnalysisException: resolved attributes identifier missing from investment_id,identifier,package_id,asofdate;
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis.failAnalysis(CheckAnalysis.scala:37)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$apply$3.apply(CheckAnalysis.scala:93)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$apply$3.apply(CheckAnalysis.scala:43)
at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:88)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis.apply(CheckAnalysis.scala:43)
at org.apache.spark.sql.SQLContext$QueryExecution.assertAnalyzed(SQLContext.scala:1069)
at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:133)
at org.apache.spark.sql.DataFrame.logicalPlanToDataFrame(DataFrame.scala:157)
at org.apache.spark.sql.DataFrame.filter(DataFrame.scala:508)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379)
at py4j.Gateway.invoke(Gateway.java:259)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:207)
at java.lang.Thread.run(Thread.java:745)

sqlCtx.setConf("spark.sql.hive.convertMetastoreParquet", "false")