用于跟踪最近活动的类似循环的SQL表

用于跟踪最近活动的类似循环的SQL表,sql,Sql,我们需要跟踪不同时间段的用户活动,如24小时、7天等。我们预计不同时间段的用户数量不会很大,但用户数量将非常大,可能会达到数百万。每晚为每个用户总结统计数据听起来不合理。我知道在过去,我用RRD表跟踪网络使用情况,但这些只是BerkeleyDB的,每个统计必须有一个文件,这是行不通的,但这个想法似乎是我想要的。是否有我忽略的模式/最佳实践?这取决于您想要使用哪种体系结构以及您可以负担得起哪种硬件 对于海量数据分析,我会选择基于集群的框架,比如Hadoop:并构建map/reduce函数来处理数据

我们需要跟踪不同时间段的用户活动,如24小时、7天等。我们预计不同时间段的用户数量不会很大,但用户数量将非常大,可能会达到数百万。每晚为每个用户总结统计数据听起来不合理。我知道在过去,我用RRD表跟踪网络使用情况,但这些只是BerkeleyDB的,每个统计必须有一个文件,这是行不通的,但这个想法似乎是我想要的。是否有我忽略的模式/最佳实践?

这取决于您想要使用哪种体系结构以及您可以负担得起哪种硬件

对于海量数据分析,我会选择基于集群的框架,比如Hadoop:并构建map/reduce函数来处理数据

用户活动可以存储在日常文件中,上传到Hadoop集群,然后进行处理


这些解决方案可以为您提供所需的仅限商品的硬件所需的必要可扩展性。

这取决于您想要使用的体系结构以及您能够负担得起的硬件

对于海量数据分析,我会选择基于集群的框架,比如Hadoop:并构建map/reduce函数来处理数据

用户活动可以存储在日常文件中,上传到Hadoop集群,然后进行处理


此类解决方案可以为您提供必要的可扩展性,只需要商品硬件。

什么样的用户活动?在运行Apache的Unix系统上访问网页?登录SQL了吗?如果是的话,你能发布数据库模式的(相关部分)吗?为什么cronjob听起来不合理?它不必是每晚,可以是每6小时左右一次……操作包括登录,或者单击通过php在SQL表中跟踪的链接。关于cron,我的想法是,如果我们有100万用户,并且必须根据操作表计算每个用户,即使有日期索引,它也会非常慢。什么样的用户活动?在运行Apache的Unix系统上访问网页?登录SQL了吗?如果是的话,你能发布数据库模式的(相关部分)吗?为什么cronjob听起来不合理?它不必是每晚,可以是每6小时左右一次……操作包括登录,或者单击通过php在SQL表中跟踪的链接。关于cron,我的想法是,如果我们有100万用户,并且必须根据该操作表计算每个用户,即使有一个日期索引,它也会非常慢。