如何使用marklogic数据库实时处理数据

我试图评估marklogic，以便实时处理数据。早些时候，我使用kafka和storm对数据进行实时处理，并在处理后插入数据库。我是marklogic的新手，所以有人能告诉我marklogic中有什么可用的东西，我可以用来实时处理数据，在获得数据后处理它，然后将它插入marklogic数据库

MarkLogic具有极强的可扩展性，并具有触发器、警报和CPF等功能，您可以构建逻辑来决定如何处理传入内容。但要让您开始学习，请注意以下几点：

MARKLogic是一个无共享架构，因此每个节点上的CPU和HTTP服务器都是独立的，所以当您考虑如何平衡传入消息时，必须记住这一点。 MarkLogic也不会流到磁盘

MarkLogic可以通过一个优秀的HTTP客户端进行连接，但我不相信有任何现成的功能可以将内容附加到一个开放的连接中（我认为这与它为什么也没有ftp功能有关）

---

因此，我指出这些项目，以便您了解您正在处理的是一种不同类型的系统。因此，方法是不一样的。事实上，通过使用预提交触发器，或者仅仅是一个基于http的应用程序，混合了诸如反向查询和设计与MarkLogic工作方式相匹配的解决方案等超快功能，为实时处理处理大量数据可能是一个很好的解决方案。我为一个大型实现工作，MarkLogic乐于接收和处理来自上游WebSphere message broker的大量消息。一些消息在内部处理，另一些则传递给Splunk和其他系统

---

我以一种高层次的方式回答了您的问题，因为它并没有真正提出一个详细的问题，而MarkLogic是一个大型、健壮的解决方案，您确实需要自己对其进行概述。如果您有时间，有一个为期1天的免费培训课程，涵盖基础知识-这将使您更好地了解产品，并根据您的需要进行评估

---

顺便说一句：MarkLogic的所有培训都是免费的。这里是基础课程的链接：/这门课程也可以在您自己的时间内学习（自行调整节奏）

此外，请查看Storm或Kafka中的可用课程。也许这为您提供了一种方法，可以继续进行实时处理，然后使用JavaAPI将数据插入MarkLogic

MarkLogic有一个开源的Kafka接收器连接。请看一看

---

当您将高速数据流传输到MarkLogic时，您可以使用Kafka作为缓冲区。如果MarkLogic的写入吞吐量是可接受的，则可以使用自定义REST端点在接收期间转换/处理数据。我不认为上一代触发器和基于CPF的转换是一种可伸缩的解决方案，更重要的是，调试一个CPF流水线问题不是当你在开源世界中有其他成熟的流处理框架/工具时，你想做的事情。p> 谢谢你，山姆，我会尝试一下。我还有一个问题，那就是使用具有自定义转换的content pump或在多线程环境中使用java api将数据转储到marklogic中的更好方法是什么？Mark Logic content pump可以用于流数据的实时处理并将其存储到ML DB吗？content pump用于读取文件文件系统。如果您的流可以写入文件系统，内容泵就可以从那里读取它。如果您想在多线程环境中流式传输数据，请使用JavaAPI。我真诚地希望否决这个答案的人纯粹是出于技术原因，并且愿意解释。