Hadoop 数字数据-高容量+;高速+;快速检索
我的数据看起来像是每帧1000万个数值(实数+二进制数)(想想数组,即一行数组中的1000万个元素),每秒大约有100帧。一种时间序列 我面临的挑战是: (1) 存储-数据量 (2) 数据处理速度 (3) 实时分析 卡桑德拉适合这样做吗?有谁能给我介绍一下应用程序体系结构(想想hadoop、cassandra、kafka、storm等),它将在上述场景中运行(从非常高的角度来看)Hadoop 数字数据-高容量+;高速+;快速检索,hadoop,cassandra,bigdata,analytics,apache-storm,Hadoop,Cassandra,Bigdata,Analytics,Apache Storm,我的数据看起来像是每帧1000万个数值(实数+二进制数)(想想数组,即一行数组中的1000万个元素),每秒大约有100帧。一种时间序列 我面临的挑战是: (1) 存储-数据量 (2) 数据处理速度 (3) 实时分析 卡桑德拉适合这样做吗?有谁能给我介绍一下应用程序体系结构(想想hadoop、cassandra、kafka、storm等),它将在上述场景中运行(从非常高的角度来看) 我知道我问了个大问题。在进行实验之前,我需要一个方向。作为存储引擎或数据处理速度,Cassandra和Hadoop将
我知道我问了个大问题。在进行实验之前,我需要一个方向。作为存储引擎或数据处理速度,Cassandra和Hadoop将以优异的成绩通过 现在进入实时部分,Cassandra可以为您提供一个接近实时的解决方案,而仅仅使用Hadoop是不够的(批处理性质,映射减少作业)。您可以尝试使用Hadoop with Storm,这将提供近乎实时的功能,但会增加解决方案的复杂性(使用喷口和螺栓)。阿尔索
您可以尝试一些规则引擎,这将为您提供实时解决方案的额外优势。感谢分享。您能否进一步说明如何集成Hadoop+Storm以实现实时性?您是否建议使用两个独立的部分—实时的Storm和批处理的Hadoop?