Web applications 点击按钮即可进行大数据处理

Web applications 点击按钮即可进行大数据处理,web-applications,architecture,statistics,data-mining,Web Applications,Architecture,Statistics,Data Mining,如果您有一个应用程序,它在一个大数据集上执行一些繁重的计算,并且结果必须在单击按钮时尽快返回,那么有哪些体系结构设计用于使这项工作大规模化 例如,应用程序运行模拟以预测未来结果,然后对该数据和历史数据进行统计分析。有大量的CPU来运行模拟,并且插入时数据库很重,然后大量的大型数据库读取来收集历史数据,还有更多的CPU来进行统计分析 本质上,有大量数据需要处理(CPU和IO密集型),理论上,只要点击一个按钮,结果就会显示出来 我知道,根据强度的不同,这并不总是一个现实的目标,但有哪些典型的体系结构

如果您有一个应用程序,它在一个大数据集上执行一些繁重的计算,并且结果必须在单击按钮时尽快返回,那么有哪些体系结构设计用于使这项工作大规模化

例如,应用程序运行模拟以预测未来结果,然后对该数据和历史数据进行统计分析。有大量的CPU来运行模拟,并且插入时数据库很重,然后大量的大型数据库读取来收集历史数据,还有更多的CPU来进行统计分析

本质上,有大量数据需要处理(CPU和IO密集型),理论上,只要点击一个按钮,结果就会显示出来


我知道,根据强度的不同,这并不总是一个现实的目标,但有哪些典型的体系结构可以完成这样的任务呢?

谷歌这样做是为了返回搜索结果

看看Hadoop——特别是MapReduce


“Hadoop MapReduce是一种编程模型和软件框架,用于编写在大型计算节点集群上并行快速处理大量数据的应用程序。”

谷歌这样做是为了返回搜索结果

看看Hadoop——特别是MapReduce


“Hadoop MapReduce是一种编程模型和软件框架,用于编写在大型计算节点集群上并行快速处理大量数据的应用程序。”

Rob提出了一种使用MapReduce的好方法

我相信这种处理是数据挖掘过程的一部分,数据挖掘过程与传统的请求-响应模型有不同的方法

最低限度

创建一个表(非规范化)并将所有必要的信息存储在此表中,然后当用户实时需要信息时,只需执行表查找并尽快获取信息

但这种方法存在挑战,其中一个主要挑战是填充此非规范化表中的数据

大多数情况下,它可以脱机完成,可能是通过夜间作业或在负载最小时填充此表的内容

此方法是在典型的电子商务应用程序中看到“购买此商品的客户也购买了”时使用的方法之一

有关更多信息和参考,请参阅

1-Sql Server分析服务


2-项目对项目协同过滤(特别是参考亚马逊实施

Rob提出了一种使用MapReduce的好方法

我相信这种处理是数据挖掘过程的一部分,数据挖掘过程与传统的请求-响应模型有不同的方法

最低限度

创建一个表(非规范化)并将所有必要的信息存储在此表中,然后当用户实时需要信息时,只需执行表查找并尽快获取信息

但这种方法存在挑战,其中一个主要挑战是填充此非规范化表中的数据

大多数情况下,它可以脱机完成,可能是通过夜间作业或在负载最小时填充此表的内容

此方法是在典型的电子商务应用程序中看到“购买此商品的客户也购买了”时使用的方法之一

有关更多信息和参考,请参阅

1-Sql Server分析服务


2-逐项协同过滤(特别是参考亚马逊实施

在不知道细节的情况下,我会说预处理/预计算你可以预期的所有内容以加快用户查询。在不知道细节的情况下,我会说预处理/预计算你可以预期的所有内容以加快用户查询。