Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 多节点中的配置单元表-处理_Hadoop_Hive_Hiveql_Data Warehouse_Bigdata - Fatal编程技术网

Hadoop 多节点中的配置单元表-处理

Hadoop 多节点中的配置单元表-处理,hadoop,hive,hiveql,data-warehouse,bigdata,Hadoop,Hive,Hiveql,Data Warehouse,Bigdata,我对蜂巢的概念有疑问。我知道Hive是一个运行在Hadoop之上的数据仓库工具。我们知道Hadoop有一个分布式文件系统——HDFS 假设我有一个主人和三个奴隶。现在,我已经在HiveQL中创建了一个表employees。这张桌子太大了,不能放在一台机器里。因此,它必须存储在所有四台机器中。如何加载此类数据。应该手动完成吗。或者像我在主机中键入“加载数据…”,它将自动分布在所有机器中。Hive使用HDFS作为数据仓库来存储数据。因此,HDFS概念用于数据存储 HDFS具有主/从体系结构。HDFS

我对蜂巢的概念有疑问。我知道Hive是一个运行在Hadoop之上的数据仓库工具。我们知道Hadoop有一个分布式文件系统——HDFS


假设我有一个主人和三个奴隶。现在,我已经在HiveQL中创建了一个表employees。这张桌子太大了,不能放在一台机器里。因此,它必须存储在所有四台机器中。如何加载此类数据。应该手动完成吗。或者像我在主机中键入“加载数据…”,它将自动分布在所有机器中。

Hive使用HDFS作为数据仓库来存储数据。因此,HDFS概念用于数据存储

HDFS具有主/从体系结构。HDFS集群由一个NameNode组成,它是一个主服务器,管理文件系统名称空间并管理客户端对文件的访问。此外,还有许多数据节点,通常是群集中每个节点一个,用于管理连接到它们运行的节点的存储。HDFS公开文件系统名称空间,并允许用户数据存储在文件中。
在内部,文件被分割成一个或多个块,这些块存储在一组数据节点中。NameNode执行文件系统名称空间操作,如打开、关闭和重命名文件和目录。它还确定块到数据节点的映射。DataNodes负责为来自文件系统客户端的读写请求提供服务。DataNodes还根据NameNode的指令执行块创建、删除和复制


有关详细信息,请参阅。

它将自动在数据节点上分发。Namenode将只保存它的元数据。