Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/facebook/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop NFS上的HDFS文件始终在28秒之后_Hadoop_Hdfs_Nfs - Fatal编程技术网

Hadoop NFS上的HDFS文件始终在28秒之后

Hadoop NFS上的HDFS文件始终在28秒之后,hadoop,hdfs,nfs,Hadoop,Hdfs,Nfs,我正在学习使用HDFS。我已经下载并启动了它,添加了使NFS网关运行的非常基本的东西[1],它运行正常,万岁 现在,我已经编译了[2],它可以工作了!但是经过一些测试,我已经验证了文件总是在28秒后出现在网关上!这正常吗?我能纠正它吗?我的意思是,让文件显示得更快,我不知道,最多几秒钟。?半分钟对于我的流程来说是很重要的 我错过了什么?我在配置中没有看到任何时间设置,这是我唯一配置的内容: core-site.xml: hadoop.tmp.dir==/opt/hadoop/tmp fs.de

我正在学习使用HDFS。我已经下载并启动了它,添加了使NFS网关运行的非常基本的东西[1],它运行正常,万岁

现在,我已经编译了[2],它可以工作了!但是经过一些测试,我已经验证了文件总是在28秒后出现在网关上!这正常吗?我能纠正它吗?我的意思是,让文件显示得更快,我不知道,最多几秒钟。?半分钟对于我的流程来说是很重要的

我错过了什么?我在配置中没有看到任何时间设置,这是我唯一配置的内容:

core-site.xml:

  • hadoop.tmp.dir==/opt/hadoop/tmp
  • fs.default.name==hdfs://192.168.1.11:54310,
  • hadoop.proxyuser.root.groups==*
  • hadoop.proxyuser.root.hosts==*
hdfs-site.xml:

  • dfs.namenode.name.dir==文件:/opt/hadoop/hdfs/namenode
  • dfs.datanode.data.dir==文件:/opt/hadoop/hdfs/datanode
编辑20180801:根据cricket_007的问题,我已经多次验证1Gb文件需要21秒才能出现在NFS网关上;只有一次花了20秒

[1]


[2]

文件大小对观察到的速度有影响吗?@cricket\u 007好的一点:示例(13字节)需要28秒,但1Gb文件需要21秒(验证多次)!我对这个测试机资源有点限制,hdfs开始抱怨2Gb的堆空间。无论如何,这看起来很奇怪…是的,这是非常有限的。在任何情况下,Hadoop都喜欢大于其块大小(默认为128Mb)的文件。这13个字节虽然很小,但需要大量剩余空间供namenode跟踪。我猜从那台机器上下载的
hdfs-dfs-put
不会花那么长时间吧?你试过WebHDFS吗?