Architecture 是否有好的BigData/IoT参考架构?

Architecture 是否有好的BigData/IoT参考架构?,architecture,iot,bigdata,Architecture,Iot,Bigdata,我正在为应用程序寻找一些参考体系结构,这些应用程序必须: 地理可伸缩性:允许接收来自以下节点的数据: 遍布全球(可能类似物联网) 半结构化数据:未完全分类的数据。新设备发送未知数据的范围 具有单个窗格/门户/api,允许查询来自不同位置的聚合数据 (更新): 自从发布这个问题以来,我一直在阅读一些演示文稿和youtube视频。到目前为止,我收集了以下信息: 选项1:使用来自云供应商(如Amazon、Azure)的定制解决方案堆栈。为了快速启动,也有专门从事这些云解决方案之一的咨询公司 选项2

我正在为应用程序寻找一些参考体系结构,这些应用程序必须:

  • 地理可伸缩性:允许接收来自以下节点的数据: 遍布全球(可能类似物联网)
  • 半结构化数据:未完全分类的数据。新设备发送未知数据的范围
  • 具有单个窗格/门户/api,允许查询来自不同位置的聚合数据
(更新): 自从发布这个问题以来,我一直在阅读一些演示文稿和youtube视频。到目前为止,我收集了以下信息:

选项1:使用来自云供应商(如Amazon、Azure)的定制解决方案堆栈。为了快速启动,也有专门从事这些云解决方案之一的咨询公司

选项2:使用开源堆栈构建。两个有趣的架构是:SMACK、Lambda


如果您能提供任何帮助,指向正确的链接/书籍/博客或您的注释/评论,我将不胜感激。

AWS()和Microsoft()提供了可用于此类需求的平台,以及具有所需工具/技术的最佳支持平台. 您仍然需要根据您的解决方案需求开发具有特定业务逻辑的定制应用程序,并且您必须利用无模式数据库(NoSql)来开发此阶段数据结构未知的解决方案


您还可以考虑使用MaServices架构来将API暴露为与第三方应用程序集成。

不确定这是否为时已晚。我没有任何云供应商IoT产品的经验,因此无法在这方面提供帮助

  • SMACK stack非常流行,但您可能不需要它的全部功能

  • 该体系结构的关键部分是实时分析的Spark、消息总线的Kafka和数据库层的Cassandra

  • Mesos是一个管理框架,可以用Kubernetes代替

  • Akka是scale/Java语言框架,不确定您首选的语言是什么


谢谢古德夫。与微服务合作的建议非常好。事实上,一旦确定了一个技术堆栈(参考),我想看看在kubernetes上使用它们(最好)。