从后台选择时是否始终使用json格式?
Snowflake通过创建文件_格式(avro、json、csv等)支持多种文件类型 现在,我已经测试了从雪花阶段(s3)中选择以下两种:从后台选择时是否始终使用json格式?,json,amazon-s3,avro,snowflake-cloud-data-platform,Json,Amazon S3,Avro,Snowflake Cloud Data Platform,Snowflake通过创建文件_格式(avro、json、csv等)支持多种文件类型 现在,我已经测试了从雪花阶段(s3)中选择以下两种: *.avro文件(由nifi处理器批处理10k源oracle表生成) *.json文件(每行json) 当从@myStg中选择$1时,snowflake扩展的行数与avro或json文件上的记录数一样多(很酷),但是。。$1变量都是json格式,现在我想知道,无论我们使用什么雪花文件格式,记录在变量$1上是否总是作为json到达? 我还没有测试过csv或
- *.avro文件(由nifi处理器批处理10k源oracle表生成)
- *.json文件(每行json)
- avro模式-类似于json键/值的语言
- 压缩数据(二进制)
Emanuel O.我试过使用CSV,当使用CSV时,它会解析文件中的每个记录,如下所示
因此,当谈到JSON时,它会将一个完整的JSON视为一个记录,以JSON格式显示。Avro在内部使用JSON数据结构,并在顶部使用附加协议。正如Sriga针对CSV指出的,如果文件格式在内部不是JSON,那么它在select$1上会显示不同。感谢@GregPavlik确认avro,xml和JSON将作为$1单列变量加载。对于CSC来说,如果有一个函数来对整个CSV行进行JSONize,那将是一件非常好的事情(这很容易做到——如果有一个头行,它将提供json键名)。我喜欢一致性,但似乎加载CSV必须手动加载到固定的列集合中。。不可能按原样加载所有CSV行,这很遗憾。。如果出于某种原因,CSV开始带来更多字段,那么在副本显式加载$1、$2、…,之后,就会丢失这些字段$n固定数量的字段。但对我来说重要的是avro..Hi Sriga,我想知道是否有办法将完整的CSV行作为json加载(考虑到有1个可以提供json键名的头行?