如何在Azure DataRicks中升级配置单元版本

org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.UnsupportedOperationException:Parquet不支持时间戳。见HIVE-6384

在Azure Databricks中执行以下代码时出现上述错误

spark_session.sql("""
    CREATE EXTERNAL TABLE IF NOT EXISTS dev_db.processing_table
    (
      campaign STRING,
      status STRING,
      file_name STRING,
      arrival_time TIMESTAMP
    )
    PARTITIONED BY ( 
      Date DATE)
    ROW FORMAT SERDE
      'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
    STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
    OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
    LOCATION "/mnt/data_analysis/pre-processed/"
""")

我正在Azure数据块中使用配置单元，当我运行命令

spark\u session.conf.get（“spark.sql.hive.metastore.version”）

时，它显示为hive 0.13version

Hive 0.13不支持拼花地板文件的时间戳数据类型

在我当前的数据集中，我有多个带有时间戳数据类型的列。 根据Hive-6384 Jira，从Hive-1.2开始，您可以在拼花地板表中使用时间戳、日期类型

---

如何升级配置单元/配置单元元存储版本？

您可以在DataRicks群集中升级DataRicks运行时的版本。

---

我目前使用版本6.5，能够创建带有时间戳列的蜂巢拼花表。

您可以在DataRicks集群中升级DataRicks运行时的版本。

---

我目前使用的是6.5版，能够创建带有时间戳列的蜂巢拼花表。

我也使用了Datatricks 6.5版，但是我得到的是蜂巢0.13，我们不能在拼花上使用时间戳。我可以知道您是如何在拼花地板上使用时间戳列的，以及集群中配置单元的版本是什么吗？spark.conf.get（“spark.sql.hive.metastore.version”）返回我1.2.1。我在下面使用的示例DDL：创建外部表test.balance（ProductCode string，balance double），按（

processing_date

string）行格式SERDE'org.apache.hadoop.hive.ql.io.parquet.SERDE.ParquetHiveSerDe'和serdeProperty（'serialization.FORMAT'='1'）位置'dbfs:/mnt/’进行分区；我也在使用databricks版本6.5，但是我得到了hive 0.13，我们不能在拼花地板上使用时间戳。我可以知道您是如何在拼花地板上使用时间戳列的，以及集群中配置单元的版本是什么吗？spark.conf.get（“spark.sql.hive.metastore.version”）返回我1.2.1。我在下面使用的示例DDL：创建外部表test.balance（ProductCode string，balance double），按（

processing_date

string）行格式SERDE'org.apache.hadoop.hive.ql.io.parquet.SERDE.ParquetHiveSerDe'和serdeProperty（'serialization.FORMAT'='1'）位置'dbfs:/mnt/’进行分区；