Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 对象存储(例如S3)和基于列的技术之间有什么区别_Amazon Web Services_Amazon S3_Google Bigquery_Bigdata_Object Storage - Fatal编程技术网

Amazon web services 对象存储(例如S3)和基于列的技术之间有什么区别

Amazon web services 对象存储(例如S3)和基于列的技术之间有什么区别,amazon-web-services,amazon-s3,google-bigquery,bigdata,object-storage,Amazon Web Services,Amazon S3,Google Bigquery,Bigdata,Object Storage,我在想这两种方法之间的区别 假设您必须处理有关模式调用的信息,稍后应该 显示给用户。模式调用是由唯一整数组成的元组 标识符(“id”)、用户定义的名称(“名称”)、项目到so的相对路径 称为模式文件(“模式文件”)和一个方便标志,该标志说明 模式应该被调用还是不被调用。元组的数量在初始化之前是未知的,在初始化之后也不会被修改 我认为在这种情况下,以大查询为例的基于列的方法在I/O和性能以及模式的演变方面会更好。但实际上我不明白为什么。我希望得到任何帮助。Amazon S3就像一个大的键值存储。k

我在想这两种方法之间的区别

假设您必须处理有关模式调用的信息,稍后应该 显示给用户。模式调用是由唯一整数组成的元组 标识符(“id”)、用户定义的名称(“名称”)、项目到so的相对路径 称为模式文件(“模式文件”)和一个方便标志,该标志说明 模式应该被调用还是不被调用。元组的数量在初始化之前是未知的,在初始化之后也不会被修改


我认为在这种情况下,以大查询为例的基于列的方法在I/O和性能以及模式的演变方面会更好。但实际上我不明白为什么。我希望得到任何帮助。

Amazon S3就像一个大的键值存储。
key
是文件名(带完整路径)而
是文件的内容。它只是一个数据块

柱状数据存储以这样一种方式组织数据,即特定数据可以“跳转到”,并且只需要从磁盘读取所需的值

如果您希望对数据执行搜索,则需要对数据执行某种形式的逻辑。这可以通过将数据存储在数据库中(通常为专有格式)或使用柱状存储格式(如Parquet和ORC)以及理解此格式的查询引擎(如Amazon Athena)来实现


S3和列式数据存储之间的区别就像磁盘驱动器和Oracle数据库之间的区别一样。

那么比较这两者是否有意义呢?例如,如果我查询检索具有指定标识符的模式调用(例如10),列出具有指定名称的所有模式调用,并列出所有模式调用(例如ca)有指定路径的lls我需要它们的组合,对吗?我不能在对象存储中实现它们,而在拼花地板中实现它们?