Php 搜索大型压缩日志

我有4台unix服务器。在每个服务器中有4个附加文件夹。每个文件夹中都有

catalinaYYYYMMDD.out.bz2

。我们使用这些文件来分析客户活动，每个文件的大小为300-400 MB

我需要找到一个快速搜索客户用户id的解决方案。

bzcat

或

bzgrep

命令太慢

---

你建议做什么？有可能用PHP实现吗？

您好，也许是一个例子？关于“我需要找到一个通过客户的用户id快速搜索的解决方案”部分，您实际是如何做到这一点的？您好！我通常用PHP编写脚本，通过SSH连接到服务器，然后调用unix命令（例如：bzgrep Catalina----.Out.bz2），因为我需要开发客户服务工具（它们不能直接访问服务器）。如果日志文件不太大，这个策略会起作用，但在这种情况下，它不会起作用，因为日志文件太大。结构大致如下：Backend1->（logpath1-logpath2-logpath3-logpath4）Backend2->（logpath1-logpath2-logpath3-logpath4）Backend3->（logpath1-logpath2-logpath3-logpath4）Backend4->（logpath1-logpath2-logpath3-logpath4）当用户访问我们的系统时，事务被意外登录到其中一个日志路径，因此我需要找到一种加快搜索速度的方法…我是否应该使用Hadoop框架来实现这一点？更好的标题、更好的标记、copyedit问题