Apache spark 如何在kappa体系结构中使用datatorrent？

我读了很多关于lambda和kappa架构的书，其中我们需要使用apachespark或apachestorm。我刚刚发现了一个名为DataTorrent的新工具，它可以进行批处理和实时处理。我想知道DataTorrent是否可以同时实现lambda（或kappa）体系结构的批处理和速度层

---

干杯，

Apache apex或Datatorrent RTS允许您的团队在单个处理框架上开发、测试、调试和操作

尽管ApacheApex文档中没有明确提到kappa体系结构，但在我看来，它可以用于服务于kappa体系结构

ApacheApex将为容错、检查点和恢复提供内置支持。因此，您可以依靠Apex中的单个数据流DAG以低延迟获得可靠的结果。使用Apex上的DAG定义应用程序时，不需要单独的批处理层和速度层

但是，请注意，ApacheApex是流计算引擎的一个示例。对于完整的Kappa体系结构，您可以将

---

日志存储+流计算引擎+服务层存储

DataTorrent可用于满足Kappa体系结构要求。您可以同时处理批处理数据和实时流数据

Datatorrent是一种连续流模型，其中批处理数据像流一样流过DAG，而Spark则是流处理数据成批流动

您可能需要使用不同的操作员端口从不同的输入源输入数据，数据的内存计算由端口上的平台调用负责

这就像有一个接收器（DT中的运算符）由两个管道（输入端口）馈电一样