Mysql 设计日志数据存储时使用哪种策略?

Mysql 设计日志数据存储时使用哪种策略?,mysql,logging,cassandra,cluster-computing,Mysql,Logging,Cassandra,Cluster Computing,我们希望设计一个数据存储,使用关系数据库保存请求消息(http/s、xmpp等)日志。为了生成日志,我们使用基于ApacheSynapseESB的解决方案。但是,由于我们希望存储日志并仅为维护问题读取日志,因此读/写比率将很低。(由于系统将接收许多要记录的消息,写入计数将非常密集。)我们考虑使用Cassandra,因为它具有分布式特性和集群功能。然而,对于Cassandra数据库模式,使用筛选器搜索查询很困难,总是需要二级索引 简而言之,我的问题是,我们是应该尝试mysql的集群解决方案,还是使

我们希望设计一个数据存储,使用关系数据库保存请求消息(http/s、xmpp等)日志。为了生成日志,我们使用基于ApacheSynapseESB的解决方案。但是,由于我们希望存储日志并仅为维护问题读取日志,因此读/写比率将很低。(由于系统将接收许多要记录的消息,写入计数将非常密集。)我们考虑使用Cassandra,因为它具有分布式特性和集群功能。然而,对于Cassandra数据库模式,使用筛选器搜索查询很困难,总是需要二级索引


简而言之,我的问题是,我们是应该尝试mysql的集群解决方案,还是使用具有合适模式设计的Cassandra来进行带有过滤器的搜索查询

如果您希望对半结构化或非结构化数据进行实时分析,可以使用Cassandra+Hadoop cluster。因为Cassandra wiki本身就建议使用Datastax Brisk edition,用于此类架构。值得一试

另一方面,如果您希望对原始日志进行实时查询,以获取一小部分数据。前

从id='xxx'的原始日志表中选择useragent

然后,您应该对您的行键列键设计进行大量研究。因为这决定了查询的复杂性。最好看看这里人们的案例研究

问候,,
泰米尔语

如果您希望对半结构化或非结构化数据进行实时分析,可以使用Cassandra+Hadoop cluster。因为Cassandra wiki本身就建议使用Datastax Brisk edition,用于此类架构。值得一试

另一方面,如果您希望对原始日志进行实时查询,以获取一小部分数据。前

从id='xxx'的原始日志表中选择useragent

然后,您应该对您的行键列键设计进行大量研究。因为这决定了查询的复杂性。最好看看这里人们的案例研究

问候,, 泰米尔人