Logging 什么用于实时日志聚合和查询？

我正在搜索工具/数据库/解决方案，它可以帮助我聚合实时日志，并可以实时查询日志。
基本要求是能够尽快交付结果，请记住，可能有许多事件要查询（可能有数十亿），但日志将有许多“列”，每个查询将在这些列上设置一些条件，因此最终结果将是某种聚合，或者只返回一小部分行

---

现在我正在研究HDFS+HBase，这似乎是一个很好的解决方案。还有其他选择吗？你能推荐什么吗？

你可以看看。在商业世界中有。

您可以检查Flume:。

如果您尝试实时解析/收集日志，并对此采取一些措施，那么我的建议如下：

# tail --follow=name --retry /var/log/logfile.log | sendxmpp -i -u username -p password -j somejabberserver.com sendloglineto@somejabberserver.com

---

这将把日志中显示为XMPP消息的每一行发送给jabber用户sendloglineto@somejabberserver.com. jabber用户将是通过您编写的客户机/软件连接的用户（我更喜欢perl和Net:：jabber）。您可以对客户机进行编程，使其可以对每个XMPP消息执行任何操作（例如，存储在数据库中）。如果将其存储在CouchDB中，则可以使用_changesAPI跟踪CouchDB所服务的特定数据库的更新。

试试ApacheKafka。这对你的案例应该是有帮助的，尽管这是一个老问题，我现在用技术堆栈发布答案，现在可以使用了

数据摄取：Apache Flume或Spark streaming或Spring XD或Kafka

数据存储和处理：HBASE（暂存表中的原始数据和最终表中的聚合数据，基于需求，基于搜索范围，可以设计行键）+

实时搜索：带solr索引的Hbase

报告（可选）：表或（开源）

总体而言：

---

这很好，但我也在寻找有助于存储日志的东西（如HDFS+HBase），calamaris似乎只从本地存储的web访问日志生成报告。Splunk可能有些过分，我只需要一层存储和查询引擎。Flume可能有助于将日志写入HDFS，但无法解决查询此数据的问题。@Wojtek:基于这个问题，我假设Hadoop HDFS+HBase将用于整理/查询数据。可能，我仍在寻找替代方案。但水槽（+HBase水槽）+HBase+HDFS似乎是一个不错的选择。