Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 在执行查询时,配置单元是否运行hadoop?_Database_Hadoop_Hive - Fatal编程技术网

Database 在执行查询时,配置单元是否运行hadoop?

Database 在执行查询时,配置单元是否运行hadoop?,database,hadoop,hive,Database,Hadoop,Hive,我试图了解hive和hadoop是如何相互作用的。在我阅读的教程中,我发现在运行配置单元查询之前,您需要运行一个map/reduce作业来获取输入数据。这对我来说似乎适得其反,如果我已经运行了map/reduce作业并以易于解析的格式获取了数据,为什么我不将数据放入传统的数据库中呢 谢谢你的帮助, NathanHive对存储在HDFS上的文件进行操作。对于最简单的查询以外的任何查询,hive都会生成并运行mapreduce作业。对于非常简单的查询(SELECT*fromMyTable),它只会将

我试图了解hive和hadoop是如何相互作用的。在我阅读的教程中,我发现在运行配置单元查询之前,您需要运行一个map/reduce作业来获取输入数据。这对我来说似乎适得其反,如果我已经运行了map/reduce作业并以易于解析的格式获取了数据,为什么我不将数据放入传统的数据库中呢

谢谢你的帮助,
Nathan

Hive对存储在HDFS上的文件进行操作。对于最简单的查询以外的任何查询,hive都会生成并运行mapreduce作业。对于非常简单的查询(
SELECT*fromMyTable
),它只会将文件从磁盘中流出来


输入数据不需要来自MapReduce,它可以是上传到HDFS的简单文本文件。请参阅

Hive通过提供海量parralel处理数据库的功能,填补了开源软件中非常重要的空白。在其他领域,它为我们提供了水平可伸缩的分析SQL引擎
具体到你的问题,我可以看到一些主要场景,当蜂巢比RDMS更好时
a) 数据已经存在于HDFS中,我们在HDFS中还有其他用途(如乔布斯先生)
b) 数据太多,无法加载到单服务器RDMB中

c) 我们只需要查询一两次数据。在这种情况下,Hive的性能优于RDMBS,数据加载时间相对较慢。

是的。Hive构建在Hadoop之上,Hadoop具有分布式计算功能。配置单元访问HDFS以存储文件。每个表都作为文件存储在HDFS上