Linux 如何增加kafka群集上打开的文件

Linux 如何增加kafka群集上打开的文件,linux,apache-kafka,file-descriptor,ambari,hdp,Linux,Apache Kafka,File Descriptor,Ambari,Hdp,我们有10台卡夫卡机器,卡夫卡版本为-1.X 此kafka群集版本是HDP版本-2.6.5的一部分 我们注意到在/var/log/kafka/server.log下有以下消息 ERROR Error while accepting connection {kafka.network.Accetpr} java.io.IOException: Too many open files 另外我们也看到了 Broker 21 stopped fetcher for partition .......

我们有10台卡夫卡机器,卡夫卡版本为-1.X

此kafka群集版本是HDP版本-2.6.5的一部分

我们注意到在
/var/log/kafka/server.log
下有以下消息

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files
另外我们也看到了

 Broker 21 stopped fetcher for partition ...................... because they are in the failed log dir /kafka/kafka-logs {kafka.server.ReplicaManager}

更新:

在ambari中,我们从
kafka-->config


这是我们应该增加的参数吗?

可以这样做:

echo "* hard nofile 100000
* soft nofile 100000" | sudo tee --append /etc/security/limits.conf

然后您应该重新启动。

“打开的文件太多意味着”进程已用完可用的Linux文件描述符。您可能有一个较低的限制,或者您的卡夫卡可能由于错误而泄漏文件描述符。看到了吗?也许这个问题重复了:有没有其他选项可以不重新启动就更新linits.conf?@jessica我想没有。@jessica,但也许你可以试试这个:@jessica,我看到了更新。这很有道理,我想你应该试试。但我不知道ambari的事对不起。
ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

how to increase the MAX open files , in order to avoid this issue
echo "* hard nofile 100000
* soft nofile 100000" | sudo tee --append /etc/security/limits.conf