ApacheHive在Amazon上是如何工作的?

ApacheHive在Amazon上是如何工作的?,apache,hadoop,amazon-s3,amazon-web-services,hive,Apache,Hadoop,Amazon S3,Amazon Web Services,Hive,我希望了解由Amazon托管的Apache Hive的机制。我假设,它用S3替换HDFS,用EMR替换Hadoop MapReduce。我的假设正确吗?你基本正确。我想说,在亚马逊上运行Hive最方便的方式是 用S3替换HDFS。它是实用的,因为数据位于S3上,我们可以按需运行Hadoop/Hive集群。一些缺点是写性能慢,因此进行数据转换会很慢。进行聚合-基本上没有问题 同时还有其他配置: 在本地驱动器上构建HDF 在EBS卷上构建HDFS 每个人都有自己的权衡。1。与您建议的其他方法相比,写

我希望了解由Amazon托管的Apache Hive的机制。我假设,它用S3替换HDFS,用EMR替换Hadoop MapReduce。我的假设正确吗?

你基本正确。我想说,在亚马逊上运行Hive最方便的方式是 用S3替换HDFS。它是实用的,因为数据位于S3上,我们可以按需运行Hadoop/Hive集群。一些缺点是写性能慢,因此进行数据转换会很慢。进行聚合-基本上没有问题
同时还有其他配置:
在本地驱动器上构建HDF
在EBS卷上构建HDFS

每个人都有自己的权衡。

1。与您建议的其他方法相比,写入性能要慢多少。哪一个选项最便宜,即消耗的AWS资源最少?3.我想知道使用cloudera AMI是否可以很好地替代在本地驱动器上构建HDF。这取决于实例的类型,因为它们与存储有不同的网络连接。但我粗略估计为x10