Hadoop NFS上的HDFS文件始终在28秒之后
我正在学习使用HDFS。我已经下载并启动了它,添加了使NFS网关运行的非常基本的东西[1],它运行正常,万岁 现在,我已经编译了[2],它可以工作了!但是经过一些测试,我已经验证了文件总是在28秒后出现在网关上!这正常吗?我能纠正它吗?我的意思是,让文件显示得更快,我不知道,最多几秒钟。?半分钟对于我的流程来说是很重要的 我错过了什么?我在配置中没有看到任何时间设置,这是我唯一配置的内容: core-site.xml:Hadoop NFS上的HDFS文件始终在28秒之后,hadoop,hdfs,nfs,Hadoop,Hdfs,Nfs,我正在学习使用HDFS。我已经下载并启动了它,添加了使NFS网关运行的非常基本的东西[1],它运行正常,万岁 现在,我已经编译了[2],它可以工作了!但是经过一些测试,我已经验证了文件总是在28秒后出现在网关上!这正常吗?我能纠正它吗?我的意思是,让文件显示得更快,我不知道,最多几秒钟。?半分钟对于我的流程来说是很重要的 我错过了什么?我在配置中没有看到任何时间设置,这是我唯一配置的内容: core-site.xml: hadoop.tmp.dir==/opt/hadoop/tmp fs.de
- hadoop.tmp.dir==/opt/hadoop/tmp
- fs.default.name==hdfs://192.168.1.11:54310,
- hadoop.proxyuser.root.groups==*
- hadoop.proxyuser.root.hosts==*
- dfs.namenode.name.dir==文件:/opt/hadoop/hdfs/namenode
- dfs.datanode.data.dir==文件:/opt/hadoop/hdfs/datanode
[2] 文件大小对观察到的速度有影响吗?@cricket\u 007好的一点:示例(13字节)需要28秒,但1Gb文件需要21秒(验证多次)!我对这个测试机资源有点限制,hdfs开始抱怨2Gb的堆空间。无论如何,这看起来很奇怪…是的,这是非常有限的。在任何情况下,Hadoop都喜欢大于其块大小(默认为128Mb)的文件。这13个字节虽然很小,但需要大量剩余空间供namenode跟踪。我猜从那台机器上下载的
hdfs-dfs-put
不会花那么长时间吧?你试过WebHDFS吗?