Mongodb 批量分析会影响Couchbase性能吗?

Mongodb 批量分析会影响Couchbase性能吗?,mongodb,hadoop,couchbase,Mongodb,Hadoop,Couchbase,假设许多应用程序使用相同的Couchbase后端,我想对它们生成的数据执行一些批处理分析。如果我在Couchbase中使用map/reduce功能,考虑到db仍然必须能够存储来自运行应用程序的新数据,这会导致任何问题吗 如果将mongo与couchbase结合使用,所有应用程序都会将数据存储到couchbase,那么这会不会有点过分,因为这些数据会复制到mongo。然后使用mongo(和mongo hadoop连接器)进行分析 好的,您确实需要在需要运行的查询以及存储的数据类型和结构方面添加更多

假设许多应用程序使用相同的Couchbase后端,我想对它们生成的数据执行一些批处理分析。如果我在Couchbase中使用map/reduce功能,考虑到db仍然必须能够存储来自运行应用程序的新数据,这会导致任何问题吗


如果将mongo与couchbase结合使用,所有应用程序都会将数据存储到couchbase,那么这会不会有点过分,因为这些数据会复制到mongo。然后使用mongo(和mongo hadoop连接器)进行分析

好的,您确实需要在需要运行的查询以及存储的数据类型和结构方面添加更多细节。我将尝试在广泛的层面上回答您的每一个问题

与couchbase一起运行mongo会不会有点过火

是的,绝对是这样!这听起来是个坏主意,两者都用不同的优点和缺点填充了相同的空间(文档存储)

Couchbase是否可以减少map并在高级别上提供读写服务

当然可以,但Couchbase中的视图最终是一致的,因为as键/访问始终是一致的。您可以将视图更改为一致,但是映射/减少作业必须运行更多(STALE=FALSE标志),这将影响数据返回的速度

Couchbase有一个ElasticSearch和Hadoop连接器,允许将数据从集群自动复制到ES或Hadoop。就个人而言,我们使用ElasticSearch进行更高级的分析/自由文本搜索,而不会影响我们的Couchbase集群

MongoDB还是Couchbase

我们在生产中使用Couchbase,但MongoDB也能胜任相同的角色(查询也更灵活)。MongoDB还可以轻松地与Hadoop/ElasticSearch集成

我真的会回头看看你的数据,你需要如何访问它,以及数据量,很可能Hadoop或ES会被过度使用

如果您需要能够识别支出模式或按天/小时/分钟对事件进行分组,则任何一个文档存储都可以轻松处理


我相信有生产Mongo经验的人也会参与进来

是,您可以在Couchbase群集上使用map/reduce功能…您需要添加更多节点以提高群集的吞吐量(水平扩展)…因此它将具有更大的计算能力来服务客户端的并发请求,并维护map/reduce视图

至于将数据卸载到其他地方,您可以使用(跨数据中心复制)功能,并在另一个Couchbase集群中保持数据同步,该集群可能仅用于map/reduce功能。所以你根本不需要使用MongoDB。。。其实