Hadoop 蜂箱的装载时间

我是个新手。如何缩短5GB数据的配置单元加载时间？通常，使用多节点群集在配置单元中处理5GB数据需要多长时间？我使用的是单节点集群。请帮助

我假设通过蜂窝的加载时间，您的意思是您有本地数据要加载到蜂窝表中？我怀疑多节点集群中的此过程比单节点设置慢。这是因为数据可能会传输到多节点集群中的不同节点

---

如果您确实需要在多节点环境中加快速度，您可以始终将输入数据拆分，将每个子集本地放置在不同的节点上，并将每个分区并发加载到HDFS暂存区域中。然后，hdfs dfs-mv命令可以非常快速地将数据移动到Hive仓库。

谢谢ben！在使用配置单元处理1GB数据的三节点集群中，查询速度如何？要多久？没问题。查询速度将取决于集群中节点的能力、网络速度、存储介质和查询的复杂性——例如，交叉连接将比选择连接花费更长的时间。这可能不会花费很长时间，但我建议根据您的环境制定自己的基准。