Hadoop 2.5.2响应速度慢

根据MacBookPro上的文档，我已经将Hadoop 2.5.2设置为伪分布式模式，目前运行的是

OSX10.9.5

一切似乎都在运行，但问题是速度非常慢

• 启动dfs.sh

  启动namenodes需要3-5分钟

• hdfs dfs-ls/

  运行大约需要一两分钟

我没有摄取任何数据，也没有做任何文档之外的事情。 我尝试了导出HADOOP\u ROOT\u LOGGER=DEBUG，但没有得到任何额外的输出，或者在日志中看到任何异常。也许我找对地方了

我所见过的唯一一个错误是，我总是在hadoop的旧版本中看到：

"Unable to load realm info from SCDynamicStore"

你知道为什么一切都这么慢吗？另外，根据我的活动监视器，我几乎没有使用任何资源

当我运行

dfs-ls

2014-11-25 11:47:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:47:54,063 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
2014-11-25 11:47:54,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s).
2014-11-25 11:48:54,065 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds

配置

核心站点：

fs.defaultFS
hdfs://localhost:9000

hdfs站点：

dfs.replication
1.

NameNode

---

由于没有其他尝试，我决定尝试删除“无法从SCDynamicStore加载域信息”警告。解决方法是设置HADOOP选项

虽然执行以下操作并没有删除警告，但出于某种原因，它修复了我的速度问题

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

---

如果有人能解释原因，我肯定会接受这个答案。

我已经更新了几乎所有内容的不同版本，并且再也没有出现过这个问题。

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
</configuration>

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"