Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/sql-server-2005/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop能帮我解决这个问题吗?_Hadoop - Fatal编程技术网

Hadoop能帮我解决这个问题吗?

Hadoop能帮我解决这个问题吗?,hadoop,Hadoop,我正在创建一个调查引擎,它将存储各种大型调查的数百万条回复 各机构将有10-100名用户。每个人将能够管理3000多个问题的调查。也将有多个机构 如果每个机构都有数十万个会话,每个会话有3000多个响应,那么我认为hadoop将是一个很好的候选人,可以获得会话及其响应数据来运行各种分析(聚合等) 会话、调查问题和回答目前都保存在sql数据库中。我在想,我会保留这些数据,并将其并行处理。因此,当一个新的会话在一个机构下进行时,它就会被添加到hadoop的“文件”中,这样当调用整个数据集时,它就会被

我正在创建一个调查引擎,它将存储各种大型调查的数百万条回复

各机构将有10-100名用户。每个人将能够管理3000多个问题的调查。也将有多个机构

如果每个机构都有数十万个会话,每个会话有3000多个响应,那么我认为hadoop将是一个很好的候选人,可以获得会话及其响应数据来运行各种分析(聚合等)

会话、调查问题和回答目前都保存在sql数据库中。我在想,我会保留这些数据,并将其并行处理。因此,当一个新的会话在一个机构下进行时,它就会被添加到hadoop的“文件”中,这样当调用整个数据集时,它就会被包括在内


这个实现是否可以与hadoop配合使用,或者我是否仍然处于关系数据库的限制范围内?

我认为没有人能够在这里明确地告诉您,是还是不是。我也不认为我从问题的措辞中完全理解了您的程序将要做什么,但是,一般来说,Hadoop Map/Reduce擅长批量处理大量数据。它不是一个交互式(又称实时)工具。因此,如果您的系统:

1) 将运行计划作业,以分析调查结果、生成趋势、汇总数据等……那么,是的,M/R将非常适合此项工作

2) 将允许用户通过指定他们感兴趣的内容来搜索调查,并根据他们的输入实时获取报告……不,M/R可能不是最好的工具。你可能想看看。我还没有使用过它,但它是一个基于查询的工具,但我不确定如何实现“实时”。此外,这是一个新兴的项目,看起来很有希望以交互方式查询大数据