Hadoop 在ubuntu 12.04上更改ulimit永远不会起作用
我正在使用hadoop,需要更改打开文件的数量Hadoop 在ubuntu 12.04上更改ulimit永远不会起作用,hadoop,ubuntu-12.04,ulimit,Hadoop,Ubuntu 12.04,Ulimit,我正在使用hadoop,需要更改打开文件的数量ulimit-n。我在stackoverflow和其他网站上看到过类似的问题,并尝试了这些答案中的所有内容,但仍然不起作用。我正在使用ubuntu 12.04 LTS。以下是我所做的: 在/etc/security/limits.conf中更改限制,我已经为*和根设置了设置。我还将限制改为一些数字,如10000和无限 * soft nofile 1513687 * hard nofile 1513687 root soft nofile 151368
ulimit-n
。我在stackoverflow和其他网站上看到过类似的问题,并尝试了这些答案中的所有内容,但仍然不起作用。我正在使用ubuntu 12.04 LTS
。以下是我所做的:
在/etc/security/limits.conf
中更改限制,我已经为*和根设置了设置。我还将限制改为一些数字,如10000
和无限
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
我还尝试了使用-
而不是软设置和硬设置。在这些更改之后,我对/etc/pam.d/
文件进行了更改,例如:
common-session
common-session-noninterative
login
cron
sshd
su
sudo
我已经在每个文件的开头添加了会话所需的pam_限制。我重新启动了有问题的盒子,设置没有生效
我还发现/etc/security/limits.d/
目录中有用户hbase
mapred
和hdfs
的文件。我也尝试过改变这些单独文件中的限制,但没有效果
我也尝试过将ulimit-S-n unlimited
放入/etc/profile
中。它不起作用
最后,我尝试将limitnofile unlimited
放入/etc/init.d/hadoop*
文件中作为第一行。不起作用
不过,有一件有趣的事情是,我没有在盒子上安装hbase,但我在/etc/security/limits.d/
目录中有一个hbase.conf
文件。此文件中的设置通过ulimit-n
反映。但是hdfs.conf
和mapred.conf
中的设置不会反映出来。这表明有东西正在覆盖hdfs
和mapred
的设置
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687
我想我已经尝试了人们在几个论坛上提出的所有建议,还有什么我可能错过或做得不正确的吗
我正在使用cdh4.4.0
作为我的hadoop发行版 你是如何检查ulimit的
我遇到了一个类似的问题,在那里我运行sudoulimit-n
,仍然可以看到1024
。这是因为ulimit
是一个内置的Bash。为了查看/etc/security/limits.conf
中反映的更改,我必须以实际用户的身份运行ulimit
。那么,为什么我们在这里投票结果接近?这不是一个正确的问题吗?我已经做了我的研究,但事情仍然不起作用。我感到惊讶的是,人们投票赞成如此详细的问题,但事实并非如此。它更适合askubuntu()或超级用户。这里没有程序…是的,我也试过。已使用hdfs用户检查ulimit。不知怎的对我不起作用。