Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
从后台选择时是否始终使用json格式?_Json_Amazon S3_Avro_Snowflake Cloud Data Platform - Fatal编程技术网

从后台选择时是否始终使用json格式?

从后台选择时是否始终使用json格式?,json,amazon-s3,avro,snowflake-cloud-data-platform,Json,Amazon S3,Avro,Snowflake Cloud Data Platform,Snowflake通过创建文件_格式(avro、json、csv等)支持多种文件类型 现在,我已经测试了从雪花阶段(s3)中选择以下两种: *.avro文件(由nifi处理器批处理10k源oracle表生成) *.json文件(每行json) 当从@myStg中选择$1时,snowflake扩展的行数与avro或json文件上的记录数一样多(很酷),但是。。$1变量都是json格式,现在我想知道,无论我们使用什么雪花文件格式,记录在变量$1上是否总是作为json到达? 我还没有测试过csv或

Snowflake通过创建文件_格式(avro、json、csv等)支持多种文件类型

现在,我已经测试了从雪花阶段(s3)中选择以下两种:

  • *.avro文件(由nifi处理器批处理10k源oracle表生成)
  • *.json文件(每行json)
当从@myStg中选择$1时,snowflake扩展的行数与avro或json文件上的记录数一样多(很酷),但是。。$1变量都是json格式,现在我想知道,无论我们使用什么雪花文件格式,记录在变量$1上是否总是作为json到达? 我还没有测试过csv或其他雪花文件格式

或者我想知道我是否从avros(oracle表)获得json,因为NiFi处理器可能创建avro文件(内部使用json格式)。 也许我在这里搞混了。。我知道avro文件包含以下两种内容:

  • avro模式-类似于json键/值的语言
  • 压缩数据(二进制)
谢谢,
Emanuel O.

我试过使用CSV,当使用CSV时,它会解析文件中的每个记录,如下所示


因此,当谈到JSON时,它会将一个完整的JSON视为一个记录,以JSON格式显示。

Avro在内部使用JSON数据结构,并在顶部使用附加协议。正如Sriga针对CSV指出的,如果文件格式在内部不是JSON,那么它在select$1上会显示不同。感谢@GregPavlik确认avro,xml和JSON将作为$1单列变量加载。对于CSC来说,如果有一个函数来对整个CSV行进行JSONize,那将是一件非常好的事情(这很容易做到——如果有一个头行,它将提供json键名)。我喜欢一致性,但似乎加载CSV必须手动加载到固定的列集合中。。不可能按原样加载所有CSV行,这很遗憾。。如果出于某种原因,CSV开始带来更多字段,那么在副本显式加载$1、$2、…,之后,就会丢失这些字段$n固定数量的字段。但对我来说重要的是avro..Hi Sriga,我想知道是否有办法将完整的CSV行作为json加载(考虑到有1个可以提供json键名的头行?