Architecture 实时文本分析是如何进行的

Architecture 实时文本分析是如何进行的,architecture,text-analysis,Architecture,Text Analysis,我一直在读一些关于这个主题的文章,但没有找到正确的信息,我们一直在使用Twitter流媒体、Datasift和其他数据推送服务。我想了解的是以下服务是如何工作的 每秒收到的tweet数量非常高 许多人指定他们想要接收推文的关键字,这些可能是复杂的布尔查询 根据所有这些布尔查询实时检查所有tweet,然后将数据流传输到正确的连接 任何指向正在使用的体系结构类型的指针都会很有帮助。我认为您首先需要了解twitter等服务的规模和资源,您正试图了解这些服务!!管理层可通过兼顾以下两个方面来处理绩效 想

我一直在读一些关于这个主题的文章,但没有找到正确的信息,我们一直在使用Twitter流媒体、Datasift和其他数据推送服务。我想了解的是以下服务是如何工作的

  • 每秒收到的tweet数量非常高
  • 许多人指定他们想要接收推文的关键字,这些可能是复杂的布尔查询
  • 根据所有这些布尔查询实时检查所有tweet,然后将数据流传输到正确的连接

  • 任何指向正在使用的体系结构类型的指针都会很有帮助。

    我认为您首先需要了解twitter等服务的规模和资源,您正试图了解这些服务!!管理层可通过兼顾以下两个方面来处理绩效

  • 想象一下,多层生态系统具有负载平衡器、多个web服务器和具有分布式缓存的大型数据中心

  • 无论算法的复杂性如何,都可以通过使算法多线程化来管理性能

  • 如果你真的想理解,试着阅读MapReduce、hadoop等来了解一下