Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
我们必须将数据上传到hadoop集群中的哪个从机_Hadoop_Hdfs_Apache Hive - Fatal编程技术网

我们必须将数据上传到hadoop集群中的哪个从机

我们必须将数据上传到hadoop集群中的哪个从机,hadoop,hdfs,apache-hive,Hadoop,Hdfs,Apache Hive,我们已经用2台机器建立了hadoop集群,我们正在尝试在我们的实时项目中实现集群,我们需要多节点集群中有关上传数据的信息,假设我有9个数据节点,我们需要上传哪个从节点。我可以选择将数据上传到2个从节点吗,如果我将数据上传到hdfs,它是否复制到另一个从属节点?。正如我们所观察到的,当前只有hdfs使用/tmp位置,如果/tmp已满,hdfs将使用哪个位置。添加更多集群的目的是扩大数据存储。。 您是否正在寻找安全的群集,授予某些用户权限以将数据上载到HDFS??如果正确,则意味着您可以实现KERB

我们已经用2台机器建立了hadoop集群,我们正在尝试在我们的实时项目中实现集群,我们需要多节点集群中有关上传数据的信息,假设我有9个数据节点,我们需要上传哪个从节点。我可以选择将数据上传到2个从节点吗,如果我将数据上传到hdfs,它是否复制到另一个从属节点?。正如我们所观察到的,当前只有hdfs使用/tmp位置,如果/tmp已满,hdfs将使用哪个位置。

添加更多集群的目的是扩大数据存储。。 您是否正在寻找安全的群集,授予某些用户权限以将数据上载到HDFS??如果正确,则意味着您可以实现KERBEROS原则或授权用户上载数据

数据复制:
是的,一旦数据上传到HDFS,它就会将数据复制到节点上,一旦数据节点停止运行,它就会将数据从停止运行的节点移动到另一个节点上。

增加更多集群的目的是扩大数据存储。。 您是否正在寻找安全的群集,授予某些用户权限以将数据上载到HDFS??如果正确,则意味着您可以实现KERBEROS原则或授权用户上载数据

数据复制:
是的,一旦数据上传到HDFS,它会将数据复制到节点,一旦数据节点停止运行,它会注意将数据从停止运行的节点移动到另一个节点。

hi karthik,感谢您的回复,需要对以下几点进行小的澄清。如果您上传来自同一集团(公司)的两个不同客户端,试图将数据上传到不同的数据节点,是否会在所有数据节点中自动复制?但根据理论知识,客户端应接近名称节点,建议转到并上传到特定的客户端,我如何实现,截至目前,我正在一台机器上手动上传Hi karthik,感谢您的回复,需要对以下几点进行小的澄清。如果您上传来自同一集团(公司)的两个不同客户端,试图将数据上传到不同的数据节点,是否会在所有数据节点中自动复制?但根据理论知识,客户端应接近名称节点,建议转到并上传到特定的客户端,我如何实现,现在我正在一台机器上手动上传