Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cassandra/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/elixir/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 数字数据-高容量+;高速+;快速检索_Hadoop_Cassandra_Bigdata_Analytics_Apache Storm - Fatal编程技术网

Hadoop 数字数据-高容量+;高速+;快速检索

Hadoop 数字数据-高容量+;高速+;快速检索,hadoop,cassandra,bigdata,analytics,apache-storm,Hadoop,Cassandra,Bigdata,Analytics,Apache Storm,我的数据看起来像是每帧1000万个数值(实数+二进制数)(想想数组,即一行数组中的1000万个元素),每秒大约有100帧。一种时间序列 我面临的挑战是: (1) 存储-数据量 (2) 数据处理速度 (3) 实时分析 卡桑德拉适合这样做吗?有谁能给我介绍一下应用程序体系结构(想想hadoop、cassandra、kafka、storm等),它将在上述场景中运行(从非常高的角度来看) 我知道我问了个大问题。在进行实验之前,我需要一个方向。作为存储引擎或数据处理速度,Cassandra和Hadoop将

我的数据看起来像是每帧1000万个数值(实数+二进制数)(想想数组,即一行数组中的1000万个元素),每秒大约有100帧。一种时间序列

我面临的挑战是:

(1) 存储-数据量

(2) 数据处理速度

(3) 实时分析

卡桑德拉适合这样做吗?有谁能给我介绍一下应用程序体系结构(想想hadoop、cassandra、kafka、storm等),它将在上述场景中运行(从非常高的角度来看)


我知道我问了个大问题。在进行实验之前,我需要一个方向。

作为存储引擎或数据处理速度,Cassandra和Hadoop将以优异的成绩通过

现在进入实时部分,Cassandra可以为您提供一个接近实时的解决方案,而仅仅使用Hadoop是不够的(批处理性质,映射减少作业)。您可以尝试使用Hadoop with Storm,这将提供近乎实时的功能,但会增加解决方案的复杂性(使用喷口和螺栓)。阿尔索
您可以尝试一些规则引擎,这将为您提供实时解决方案的额外优势。

感谢分享。您能否进一步说明如何集成Hadoop+Storm以实现实时性?您是否建议使用两个独立的部分—实时的Storm和批处理的Hadoop?