Hadoop 如何将aerospike扫描作业更改为地图缩减模式？

我们将每天扫描我们的aerospike，并从扫描结果中得到一些信息。 现在我们正在考虑将扫描更改为map reduce作业。但我发现有些东西可能会使这次尝试失败。我还没有找到任何简单的方法将扫描作业拆分为多个子任务。例如，我在一个aerospike集群中有8个节点，我能想象的唯一可能为mapper分配数据集的分割模式是分别使用8个mapper扫描8个节点。我们在一个节点中有4个集，当然我可以使用更多的映射器扫描每组节点，但这将导致每个映射器的数据集不平衡

---

我有没有办法用多个进程在一个节点中扫描一个集合？

如果你通过读取记录聚合一些数据，你可能想考虑流UDF。< /P>你是在讨论如何用Hadoop连接SelpPIKE？或者你是在谈论不同的扫描策略，将部分数据发送到不同的应用程序节点？