使用pyspark配置单元上下文连接两个表

在使用pyspark配置单元上下文连接两个配置单元表时，我看到以下错误

错误：

“”）文件 “/usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/context.py”， 第552行，在sql文件中 “/usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py”，第538行，在调用文件中 “/usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/utils.py”， 第36行，在deco文件中 “/usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/protocol.py”， 第300行，在get_return_值py4j.protocol.Py4JJavaError中：一个错误 调用o41.sql时发生：org.apache.spark.SparkException:Job 已取消，因为SparkContext已关闭，例如：

---

还有如何参数化一天？

可能是内存问题。您需要查看详细的日志可能是内存问题。您需要查看详细的日志

lsf.registerTempTable('temp_table')

    out = hc.sql(
            """INSERT OVERWRITE TABLE AAAAAA   PARTITION (day ='2017-09-20')
               SELECT tt.*,ht.id
                FROM temp_table tt
                 JOIN hive_table ht
             ON tt.id = ht.id
        """)