蜂巢&x2B；与PostgreSQL数据库的连接太多_Postgresql_Hadoop_Hive_Ambari_Ulimit

蜂巢&x2B；与PostgreSQL数据库的连接太多

postgresql hadoop hive

蜂巢&x2B；与PostgreSQL数据库的连接太多,postgresql,hadoop,hive,ambari,ulimit,Postgresql,Hadoop,Hive,Ambari,Ulimit,我们有Hadoop版本为2.6.4的ambari集群当我们运行查询以验证PostgreSQL数据库中的连接时，我们发现了许多配置单元连接–在我们的例子中大约是90个这会导致其他应用程序问题因此，我们怀疑hiveserver2没有像它应该的那样清理连接，文件也没有被释放有没有任何建议说明为什么蜂巢有很多联系？到postgresql，解决这个问题的办法是什么我们发现的一个选项是更新文件/etc/security/limits.conf（根据链接中的答案） ) 其他有趣的帖子来自- 但我们

我们有Hadoop版本为2.6.4的ambari集群

当我们运行查询以验证PostgreSQL数据库中的连接时，我们发现了许多配置单元连接–在我们的例子中大约是90个
这会导致其他应用程序问题
因此，我们怀疑hiveserver2没有像它应该的那样清理连接，文件也没有被释放
有没有任何建议说明为什么蜂巢有很多联系？到postgresql，解决这个问题的办法是什么
我们发现的一个选项是更新文件
/etc/security/limits.conf
（根据链接中的答案）
)
其他有趣的帖子来自-
但我们不确定这是否是解决方案

su postgres bash-4.2$ psql psql (9.2.13) Type "help" for help. postgres=# postgres=# select pid as process_id, postgres-# usename as username, postgres-# datname as database_name, postgres-# client_addr as client_address, postgres-# application_name, postgres-# backend_start, postgres-# state, postgres-# state_change postgres-# from pg_stat_activity; process_id | username | database_name | client_address | application_name | backend_start | state | state_change ------------+----------+---------------+----------------+------------------+-------------------------------+---------------------+------------------------------- 24182 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:12.136194+00 | idle | 2019-05-29 13:36:53.660075+00 24184 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:12.330268+00 | idle | 2019-05-29 14:06:24.794683+00 24185 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:12.346594+00 | idle | 2019-05-29 14:06:57.014266+00 24186 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:12.352127+00 | idle | 2019-05-29 14:07:01.373678+00 24192 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:14.736059+00 | idle | 2019-05-29 14:06:37.701989+00 24499 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:47.801281+00 | idle | 2019-05-29 14:06:37.701784+00 24500 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:47.801537+00 | idle | 2019-05-29 14:06:37.701784+00 24501 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:47.801818+00 | idle | 2019-05-29 14:06:37.701956+00 24502 | ambari | ambari | 127.0.0.1 | | 2019-05-29 08:20:47.934395+00 | idle | 2019-05-29 14:06:54.125167+00 24628 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:12.959034+00 | idle | 2019-05-29 14:06:11.004364+00 24620 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:10.674515+00 | idle | 2019-05-29 14:06:10.697886+00 24621 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:10.866393+00 | idle | 2019-05-29 14:06:10.900711+00 24624 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:12.11398+00 | idle | 2019-05-29 14:05:46.928607+00 24625 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:12.139117+00 | idle | 2019-05-29 14:06:14.719214+00 24629 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:12.980466+00 | idle | 2019-05-29 14:06:11.005997+00 24750 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:17.681669+00 | idle | 2019-05-29 14:06:14.713394+00 24751 | hive | hive | 34.22.1.91 | | 2019-05-29 08:21:17.68909+00 | idle | 2019-05-29 14:06:14.618542+00 25223 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:27.016383+00 | idle | 2019-05-29 14:06:22.918908+00 25293 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:27.394022+00 | idle | 2019-05-29 14:06:22.933555+00 24818 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.344101+00 | idle | 2019-05-29 13:54:22.786162+00 24819 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.364094+00 | idle | 2019-05-29 13:54:22.937269+00 24820 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.377741+00 | idle | 2019-05-29 13:57:22.797683+00 24821 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.389561+00 | idle | 2019-05-29 13:57:22.928034+00 24822 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.397512+00 | idle | 2019-05-29 14:00:22.808355+00 24823 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.411604+00 | idle | 2019-05-29 14:00:22.930902+00 24824 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.420796+00 | idle | 2019-05-29 14:03:22.872217+00 24825 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:23.42768+00 | idle | 2019-05-29 14:03:23.033186+00 25196 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:25.651445+00 | idle | 2019-05-29 14:06:22.79415+00 24881 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:24.131849+00 | idle | 2019-05-29 14:06:26.752754+00 24884 | hive | hive | 34.22.1.93 | | 2019-05-29 08:21:24.16027+00 | idle | 2019-05-29 14:06:26.754117+00

大多数Hadoop服务都有很多打开的文件。对于生产环境来说，具有100K-200K的开放文件描述符限制并不少见
最简单的解决方案是提高文件描述符限制
参考：

对不起，我不明白您的建议？您是否建议根据链接更新/etc/security/limits.conf？-（你认为这能解决与postgres的连接太多的问题吗？好吧，让我们假设我会做文章中提到的事情，那么你认为hive连接会少很多吗？在我们的机器中，当前的配置是*软nofile 20000*硬nofile 22000。我不认为90个连接是不合理的。如果你有几千个，我会更专注另外，如果您查看您的连接，几天之前没有空闲连接。因此，
hive.server2.idle.session.timeout
看起来正常工作。