Hadoop 为什么即使文件大小不是64MB，块文件也会被分割？
我正在使用flume将twitter数据下载到hdfs中。虽然我的数据超过2GB，但我的区块文件拆分小于64MB。 i、 e.第一个文件为300KB，第二个文件为566KB。Hadoop 为什么即使文件大小不是64MB，块文件也会被分割？,hadoop,block,input-split,Hadoop,Block,Input Split,我正在使用flume将twitter数据下载到hdfs中。虽然我的数据超过2GB，但我的区块文件拆分小于64MB。 i、 e.第一个文件为300KB，第二个文件为566KB。 为什么会发生这种情况？这是因为您的水槽配置 阅读，您必须设置hdfs.rollInterval或hdfs.rollSize
为什么会发生这种情况？这是因为您的水槽配置 阅读，您必须设置hdfs.rollInterval或hdfs.rollSize