Hive 配置单元元存储中的寄存器增量表错误

Hive 配置单元元存储中的寄存器增量表错误,hive,pyspark,amazon-emr,delta-lake,Hive,Pyspark,Amazon Emr,Delta Lake,我需要在Hive metastore中注册增量表,以便能够使用连接到ThriftServer的外部报告工具查询它 PySpark API运行良好,我能够创建可删除的对象 ordersDeltaTable = DeltaTable.forPath(spark, delta_path) 当我运行SQL命令时 %%sql CREATE TABLE orders_delta USING DELTA LOCATION '/tmp/orders/delta/' 或 还是这个 %%sql CREATE T

我需要在Hive metastore中注册增量表,以便能够使用连接到ThriftServer的外部报告工具查询它

PySpark API运行良好,我能够创建可删除的对象

ordersDeltaTable = DeltaTable.forPath(spark, delta_path)
当我运行SQL命令时

%%sql
CREATE TABLE orders_delta
USING DELTA
LOCATION '/tmp/orders/delta/'

还是这个

%%sql
CREATE TABLE orders_delta
USING delta
AS SELECT *
FROM csv.`s3://orders/raw/public/order_items/`
我总是有同样的例外

An error was encountered:
u'Can not create a Path from an empty string'
Traceback (most recent call last):
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py", 
line 767, in sql
    return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
  File "/usr/lib/spark/python/lib/py4j-0.10.7- 
   src.zip/py4j/java_gateway.py", line 1257, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", 
line 79, in deco
    raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
IllegalArgumentException: u'Can not create a Path from an empty 
string'
我正在使用

电子病历5.27.0 Spark 2.4.4 蜂巢2.3.5 delta-core_2.11-0.4.0.jar 用Jupyter笔记本


是否有其他方法可以在Hive metastore中注册DeltaTable?

是否有充分的理由通过Hive注册。当你输入emr时,你可以启用胶水目录。因此,spark创建的表直接与glue同步。然后你可以使用外部用户连接到雅典娜进行报告——基本上你可以摆脱蜂巢,以这种方式运行EMR


雅典娜的另一个选择是红移光谱,这是通过蜂巢的有力理由。当你输入emr时,你可以启用胶水目录。因此,spark创建的表直接与glue同步。然后你可以使用外部用户连接到雅典娜进行报告——基本上你可以摆脱蜂巢,以这种方式运行EMR


雅典娜的替代品是红移光谱

注意,从Delta Lake 0.4.0开始,尽管它包括PySpark API,但SQL DML还不受支持。错误消息是由于Spark SQL DML创建了表,但Delta Lake尚不支持该错误消息;它位于三角洲湖未来路线图中


由于这个问题和其他一些问题,Delta Lake 0.4.0还不支持配置单元元存储表;这也是三角洲湖未来的路线图

请注意,从Delta Lake 0.4.0开始,尽管如前所述它包含PySpark API,但SQL DML还不受支持。错误消息是由于Spark SQL DML创建了表,但Delta Lake尚不支持该错误消息;它位于三角洲湖未来路线图中


由于这个问题和其他一些问题,Delta Lake 0.4.0还不支持配置单元元存储表;这也是三角洲湖未来的路线图

确切地说,是Spark创建的表。我的观点是Spark使用Delta创建表不起作用。哦!很高兴知道Spark创建的表格。我的观点是Spark使用Delta创建表不起作用。哦!很高兴知道我发现这是一个悬而未决的问题。有什么解决办法吗?我发现这是一个悬而未决的问题。有什么解决办法吗?谢谢你的详细回复。在开源版本中,是否对Hive metastore功能交付有任何时间线估计?虽然近期正在进行,但我还没有时间线估计,因为涉及到多个移动部件。一旦我们有一个,它将被添加到。谢谢你的信息。如果没有时间表和解决方法,我将尝试另一个库Hudi。感谢您的详细回复。在开源版本中,是否对Hive metastore功能交付有任何时间线估计?虽然近期正在进行,但我还没有时间线估计,因为涉及到多个移动部件。一旦我们有一个,它将被添加到。谢谢你的信息。如果没有时间表和解决方法,我将尝试另一种库Hudi
An error was encountered:
u'Can not create a Path from an empty string'
Traceback (most recent call last):
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py", 
line 767, in sql
    return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
  File "/usr/lib/spark/python/lib/py4j-0.10.7- 
   src.zip/py4j/java_gateway.py", line 1257, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", 
line 79, in deco
    raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
IllegalArgumentException: u'Can not create a Path from an empty 
string'