Ibm cloud CouchDB视图在插入50k个事务后需要12小时才能更新

Ibm cloud CouchDB视图在插入50k个事务后需要12小时才能更新,ibm-cloud,couchdb,cloudant,Ibm Cloud,Couchdb,Cloudant,我正在尝试对应用程序的一个方面进行负载测试。它涉及一个lambda,它从Cloudant获取数据并对其进行处理。由于AWS的API网关的限制,如果lambda返回结果的时间超过30秒,我们将收到来自网关的超时。这意味着我们需要在Cloudant的lambda加载中运行loadtest,以获得真实世界的准确结果 我做的第一件事是使用批量文档将51001文档插入Cloudant。插入它们后,我点击all_docs端点,它确认数据库中有51001个文档 当我点击帮助我们查询文档的视图时,问题就出现了。

我正在尝试对应用程序的一个方面进行负载测试。它涉及一个lambda,它从Cloudant获取数据并对其进行处理。由于AWS的API网关的限制,如果lambda返回结果的时间超过30秒,我们将收到来自网关的超时。这意味着我们需要在Cloudant的lambda加载中运行loadtest,以获得真实世界的准确结果

我做的第一件事是使用批量文档将51001文档插入Cloudant。插入它们后,我点击all_docs端点,它确认数据库中有51001个文档

当我点击帮助我们查询文档的视图时,问题就出现了。1小时后,它返回了13000k文档。每次我点击它,我就会在视图中看到100-200多个文档。快进到现在,在将事务插入数据库13小时后,视图刚刚返回51001个文档


当插入大量事务时,Cloudant是否总是花费这么长的时间来创建视图?在10k-11k之前,它的运行状况还不错,但接下来需要额外12个小时才能完成其余的工作。这肯定不是我们想要的行为吗?我不能共享代码,因为这是我公司的代码,但我们发布每个文档的视图非常小。它是一个JSONobject,大约有8个参数,非常小。

这个问题不包括有关视图的信息,因此我们不能忽略一个事实,即没有自定义的减速机。此外,考虑优化<代码>地图>代码>视图的一部分。

< P> > 24小时后,行为停止,我可以插入50K Trand,并实时更新视图。我猜cloudant限制了我们的利率,或者有一些奇怪的资源限制


找不到任何令人不安的文档

您没有提供有关数据库环境的任何代码和信息。它是否有速率限制?该环境的层是400次读取、200次写入和40次全局查询。这些都没有被超过。我找不到任何关于视图建筑费率限制的文档。这不是我发送的一堆请求。所有文档都在cloudant中,只是它们在视图中都不可见,并且它们一点一点地被添加到视图中。不幸的是,我不能提供代码,但我只是一遍又一遍地点击同一个查询,每次它都返回稍大的数据子集。在中的13小时,所有数据现在都可以在viewNo custom reducer中看到。我发现了这个问题。我认为cloudant是限速的ua