Google bigquery BIgQuery AVRO外部表模式
我试图使用JavaAPI创建一个空的外部BigQuery表 在我们的流程中,表的创建和avro文件的到达之间有一个间隙,因此我需要在没有任何底层数据的情况下创建表。 ExternalTableDefinition允许指定sourceUri和架构 因此,我尝试使用空sourceUri和有效模式。 我得到这个错误: “不允许为存储\u格式\u AVRO指定架构” 为什么会有限制 是否有任何方法仅基于模式创建外部avro表Google bigquery BIgQuery AVRO外部表模式,google-bigquery,Google Bigquery,我试图使用JavaAPI创建一个空的外部BigQuery表 在我们的流程中,表的创建和avro文件的到达之间有一个间隙,因此我需要在没有任何底层数据的情况下创建表。 ExternalTableDefinition允许指定sourceUri和架构 因此,我尝试使用空sourceUri和有效模式。 我得到这个错误: “不允许为存储\u格式\u AVRO指定架构” 为什么会有限制 是否有任何方法仅基于模式创建外部avro表 提前感谢您不能创建空的外部表 但是,您可以尝试使用虚拟/空avro文件,该文件
提前感谢您不能创建空的外部表 但是,您可以尝试使用虚拟/空avro文件,该文件将定义您的架构,并在从源创建外部表时使用它。
重要提示-您可以在gs://mybucket/path/to/myAvroFiles*中使用通配符,这样匹配它的延迟到达文件将通过该外部表可用实际上我就是这么做的;这似乎有些过分,因为API允许同时指定两者。没有理由限制。。。