使用redis支持的；"；node.js中的库--为什么我的redis内存使用量不断增加？

在node.js应用程序中，我使用的是由redis支持的kue排队库。作业完成后，我将其从队列中删除。在一夜之间运行了大约70000个作业之后，redis的内存使用量约为30MB。数据库中仍有18个失败的作业，队列长度当前为零-处理作业的速度比排队快。Redis没有以任何其他方式使用

你知道为什么即使我正在删除已完成的作业，redis的内存使用量仍在不断增加吗？咖啡脚本代码：

gaemodel.update = (params) ->
  job = jobs.create "gaemodel-update", params 
  job.attempts 2
  job.save()
  job.on "complete", ->
    job.remove (err) ->
      throw err if err
      console.log 'completed job #%d', job.id

---

如果排队系统存在内存消耗问题，并且您100%肯定所有排队的项目都已从存储中删除，并且没有进入异常/错误队列，那么最可能的原因是排队率远远高于出列率

Redis使用通用内存分配器（jemalloc、ptmalloc、tcmalloc等…）。这些分配器不一定会将内存返回给系统。当一些内存被释放时，分配器倾向于保留它（以便在将来的分配中重用它）。当许多小对象被随机分配时尤其如此，Redis就是这样

其结果是，给定时间点的内存消耗峰值将导致Redis累积内存并保留它。此内存不会丢失，如果出现另一个内存消耗高峰，它将被重新使用。但从系统的角度来看，内存仍然分配给Redis。对于排队系统，如果您对项目的排队速度快于您能够将其出列的速度，那么您将有这样的内存消耗峰值

我的建议是让应用程序定期获取并记录队列长度，以检查队列中项目数量的变化（并确定峰值）

更新：

我用kue测试了一些东西，以了解它在Redis中存储了什么。实际上，数据结构非常复杂（字符串、集合、zset和散列的混合）。如果您查看Redis，您将发现以下内容：

q:job:nnn             (hash, job definition and properties)

q:search:object:nnn   (set, metaphone tokens associated to job nnn)
q:search:word:XXXXX   (set, reverse index to support job full-text indexing)

q:jobs:inactive       (zset, all the unprocessed jobs)
q:jobs:X:inactive     (zset, all the unprocessed jobs of job type X)

q:jobs:active         (zset, all the on-going jobs)
q:jobs:X:active       (zset, all the on-going jobs of job type X)

q:jobs:complete       (zset, all the completed jobs)
q:jobs:X:complete     (zset, all the completed jobs of job type X)

q:jobs:failed         (zset, all the failed jobs)
q:jobs:X:failed       (zset, all the failed jobs of job type X)

q:jobs:delayed        (zset, all the delayed jobs)
q:jobs:X:delayed      (zset, all the delayed jobs of job type X)

q:job:types           (set, all the job types)
q:jobs                (zset, all the jobs)

q:stats:work-time     (string, work time statistic)
q:ids                 (string, job id sequence)

我根本不知道Coffeescript，所以我尝试使用简单的旧Javascript重现这个问题：

var kue = require('kue'),
    jobs = kue.createQueue();

jobs.process( 'email', function(job,done) {
  console.log('Processing email '+JSON.stringify(job) )
  done();
});

function create_email(i) {
  var j = jobs.create('email', {
    title: 'This is email '+i
    , to: 'didier'
    , template: 'Bla bla bla'
  });
  j.on('complete', function() {
    console.log('complete email job #%d', j.id);
    j.remove(function(err){
      if (err) throw err;
      console.log('removed completed job #%d', j.id);
    });
  });
  j.save();
}

for ( i=0; i<5; ++i )
{
   create_email(i);
}

kue.app.listen(8080);

因此，完成的作业似乎保存在q:jobs:complete和q:jobs:X:complete中，尽管这些作业已被删除。我建议您在自己的Redis实例中检查这些zset的基数

我的解释是，这些zset的管理发生在发出“completed”事件之后。因此，作业被正确地删除，但它们的ID在这些zset之后被插入

解决方法是避免依赖每作业事件，而是使用每队列事件删除作业。例如，可以进行以下修改：

// added this
jobs.on('job complete', function(id) {
  console.log('Job complete '+id )  
  kue.Job.get(id, function(err, job) {
     if (err) return;
     job.remove(function(err){
        if (err) throw err;
        console.log('removed completed job #%d', job.id);
     });
  });  
});

// updated that
function create_email(i) {
  var j = jobs.create('email', {
    title: 'This is email '+i
    , to: 'didier'
    , template: 'Bla bla bla'
  });
  j.save();
}

修复程序后，Redis中的内容要好得多：

redis 127.0.0.1:6379> keys *
1) "q:stats:work-time"
2) "q:ids"
3) "q:job:types"

---

您可能可以使用Coffescript中的类似策略。

事实上，问题出在旧版本的node上。升级到0.6.x链解决了mem消耗问题。

很高兴看到您解决了问题。在任何情况下，下一次当您的Redis出现内存问题时，您的第一个调用端口应该是“INFO”Redis命令。此命令将告诉您有价值的信息，例如

记忆 已用内存：3223928 已用记忆人类：3.07M 已用内存rss:1916928 已用内存峰值：3512536 已用内存峰值人：3.35米 已用内存：37888 记忆碎片比率：0.59

或

密钥空间 db0:keys=282，expires=27，平均ttl=11335089640

---

这对于在任何给定时刻了解内存和键空间的状态都非常方便。

嗨，迪迪埃-谢谢你的回答，但我认为这并不能确定问题所在。我应该提到队列长度为零。使用这个kue库很容易监控队列状态-它包括一个内置的管理服务器和前端。我将编辑我的问题以添加此信息。迪迪埃-感谢您的调查。我独立得出了大致相同的结论。事实上，在我能够修复的kue代码中有一些bug。我已经检查了我的叉子的修复，并提出了拉动请求。

redis 127.0.0.1:6379> keys *
1) "q:stats:work-time"
2) "q:ids"
3) "q:job:types"