Map 每小时从couchdb获取数百万对象的数据

Map 每小时从couchdb获取数百万对象的数据,map,amazon-web-services,mapreduce,couchdb,reduce,Map,Amazon Web Services,Mapreduce,Couchdb,Reduce,我在一个AWS EC2媒体点播实例上设置了一个couchdb数据库,其中有大约400万个对象,以每秒大约100个对象的速度增长 我想在上面写一些map/reduce查询,但我的map作业需要很长时间才能完成。 因此,我想知道我是否应该将数据复制到其他机器上,并删除主机上的所有数据,保持其干净,我更应该在复制数据的第二个实例上编写映射作业;我还考虑将这些数据转移到一个s3实例,并在这里只保留一周的数据 我的想法是否正确不幸的是,对于如此大的数据库,您只能使用内置的reduce函数: _总数 _计

我在一个AWS EC2媒体点播实例上设置了一个couchdb数据库,其中有大约400万个对象,以每秒大约100个对象的速度增长

我想在上面写一些map/reduce查询,但我的map作业需要很长时间才能完成。 因此,我想知道我是否应该将数据复制到其他机器上,并删除主机上的所有数据,保持其干净,我更应该在复制数据的第二个实例上编写映射作业;我还考虑将这些数据转移到一个s3实例,并在这里只保留一周的数据


我的想法是否正确

不幸的是,对于如此大的数据库,您只能使用内置的reduce函数:

  • _总数
  • _计数
  • _统计数据
这些函数的运行速度比javascript函数快得多。这是大型数据库唯一可能的选择


不幸的是,对于如此大的数据库,您只能使用内置的reduce函数:

  • _总数
  • _计数
  • _统计数据
这些函数的运行速度比javascript函数快得多。这是大型数据库唯一可能的选择

如果有助于提高性能,您可以编写自己的或使用其中一个可供测试的选项。

如果有助于提高性能,您可以编写自己的或使用其中一个可供测试的选项