Web applications 点击按钮即可进行大数据处理
如果您有一个应用程序,它在一个大数据集上执行一些繁重的计算,并且结果必须在单击按钮时尽快返回,那么有哪些体系结构设计用于使这项工作大规模化 例如,应用程序运行模拟以预测未来结果,然后对该数据和历史数据进行统计分析。有大量的CPU来运行模拟,并且插入时数据库很重,然后大量的大型数据库读取来收集历史数据,还有更多的CPU来进行统计分析 本质上,有大量数据需要处理(CPU和IO密集型),理论上,只要点击一个按钮,结果就会显示出来Web applications 点击按钮即可进行大数据处理,web-applications,architecture,statistics,data-mining,Web Applications,Architecture,Statistics,Data Mining,如果您有一个应用程序,它在一个大数据集上执行一些繁重的计算,并且结果必须在单击按钮时尽快返回,那么有哪些体系结构设计用于使这项工作大规模化 例如,应用程序运行模拟以预测未来结果,然后对该数据和历史数据进行统计分析。有大量的CPU来运行模拟,并且插入时数据库很重,然后大量的大型数据库读取来收集历史数据,还有更多的CPU来进行统计分析 本质上,有大量数据需要处理(CPU和IO密集型),理论上,只要点击一个按钮,结果就会显示出来 我知道,根据强度的不同,这并不总是一个现实的目标,但有哪些典型的体系结构
我知道,根据强度的不同,这并不总是一个现实的目标,但有哪些典型的体系结构可以完成这样的任务呢?谷歌这样做是为了返回搜索结果 看看Hadoop——特别是MapReduce
“Hadoop MapReduce是一种编程模型和软件框架,用于编写在大型计算节点集群上并行快速处理大量数据的应用程序。”谷歌这样做是为了返回搜索结果 看看Hadoop——特别是MapReduce
“Hadoop MapReduce是一种编程模型和软件框架,用于编写在大型计算节点集群上并行快速处理大量数据的应用程序。”Rob提出了一种使用MapReduce的好方法 我相信这种处理是数据挖掘过程的一部分,数据挖掘过程与传统的请求-响应模型有不同的方法 最低限度 创建一个表(非规范化)并将所有必要的信息存储在此表中,然后当用户实时需要信息时,只需执行表查找并尽快获取信息 但这种方法存在挑战,其中一个主要挑战是填充此非规范化表中的数据 大多数情况下,它可以脱机完成,可能是通过夜间作业或在负载最小时填充此表的内容 此方法是在典型的电子商务应用程序中看到“购买此商品的客户也购买了”时使用的方法之一 有关更多信息和参考,请参阅 1-Sql Server分析服务
2-项目对项目协同过滤(特别是参考亚马逊实施)Rob提出了一种使用MapReduce的好方法 我相信这种处理是数据挖掘过程的一部分,数据挖掘过程与传统的请求-响应模型有不同的方法 最低限度 创建一个表(非规范化)并将所有必要的信息存储在此表中,然后当用户实时需要信息时,只需执行表查找并尽快获取信息 但这种方法存在挑战,其中一个主要挑战是填充此非规范化表中的数据 大多数情况下,它可以脱机完成,可能是通过夜间作业或在负载最小时填充此表的内容 此方法是在典型的电子商务应用程序中看到“购买此商品的客户也购买了”时使用的方法之一 有关更多信息和参考,请参阅 1-Sql Server分析服务
2-逐项协同过滤(特别是参考亚马逊实施)在不知道细节的情况下,我会说预处理/预计算你可以预期的所有内容以加快用户查询。在不知道细节的情况下,我会说预处理/预计算你可以预期的所有内容以加快用户查询。