Flume自动可扩展性和故障切换
我的公司正在考虑使用flume进行一些相当大容量的日志处理。我们认为，出于容量（可伸缩性）和故障切换（可靠性）的原因，日志处理需要分布式，Flume似乎是显而易见的选择 然而，我们认为我们肯定遗漏了一些明显的东西，因为我们看不到Flume如何提供自动可伸缩性和故障切换 我想定义一个流程，对每一条测井线，做a件事，然后传递它，做B件事，然后传递它，做C件事，依此类推，这似乎与Flume很匹配。然而，我希望能够用纯粹的逻辑术语定义这个流，然后基本上说，“嘿，Flume，这里是服务器，这里是流定义，开始工作吧！”。服务器将死亡（ops将重新启动它们），我们将向集群中添加服务器，并使其他服务器退役，flume将只将工作定向到任何具有可用容量的节点 本文描述了Hadoop map reduce如何实现可伸缩性和故障切换，我假设Flume也是这样。但是，文档似乎暗示我需要手动配置每个逻辑节点在哪些物理服务器上运行，并为每个节点配置特定的故障切换场景 我是对的，水槽不符合我们的目的，还是我错过了什么Flume自动可扩展性和故障切换,flume,Flume,我的公司正在考虑使用flume进行一些相当大容量的日志处理。我们认为，出于容量（可伸缩性）和故障切换（可靠性）的原因，日志处理需要分布式，Flume似乎是显而易见的选择 然而，我们认为我们肯定遗漏了一些明显的东西，因为我们看不到Flume如何提供自动可伸缩性和故障切换 我想定义一个流程，对每一条测井线，做a件事，然后传递它，做B件事，然后传递它，做C件事，依此类推，这似乎与Flume很匹配。然而，我希望能够用纯粹的逻辑术语定义这个流，然后基本上说，“嘿，Flume，这里是服务器，这里是流定义，开
感谢您的帮助。根据您是否使用多个主机，您可以对配置进行编码以遵循故障切换模式 这在指南中相当详细：
为了回答您的问题，坦率地说，Flume还没有自动找出故障转移方案的能力。您是否也可以在Flume邮件列表中询问这个问题：孵化器Flume用户-subscribe@apache.org