Hadoop 工具同步日志文件分发系统

我正在多个Linux节点上运行分布式作业。每个节点将数据记录到一个文件中。 使用ssh连接并单独查看每个日志会浪费很多时间

---

是否有跨系统整合文件的工具？还是一次查看多个日志的另一种方法？

我建议您看看，它是跨多个系统管理日志文件的极好工具，我已经在大型Hadoop系统中使用了一段时间，它基本上可以实时聚合所有日志中的数据，并在UI中为您提供系统的整体视图，这样您就不必登录到每个系统，并且可以看到UI中的所有内容

---

它还允许您定义警报，并且您可以过滤所有内容并查看各个主机（如果需要）。

我建议您查看，它是跨多个系统管理日志文件的极好工具，我已经在大型Hadoop系统中使用了一段时间，它基本上可以实时聚合所有日志中的数据，并在UI中为您提供系统的整体视图，这样您就不必登录到每个系统，并且可以看到UI中的所有内容

---

它还允许您定义警报，如果您愿意，您可以过滤所有内容并查看各个主机。

我同意，如果您负担得起，Splunk可能是最好的选择。对于其他选择，我同意如果你能负担得起的话，Splunk可能是最好的选择。有关其他选项，请参见