什么';java中跨多个数据存储处理事务的方法是什么?

什么';java中跨多个数据存储处理事务的方法是什么?,java,sql,transactions,nosql,Java,Sql,Transactions,Nosql,我想知道在涉及数据库和文件系统的多个数据存储中处理事务的最佳方法是什么 以下是场景: 假设我有一个系统,其中我必须存储数据,其中包含文本和二进制。文本提供元数据信息,二进制数据是要存储的实际数据。此外,数据应基于客户端设置的元数据进行搜索 这使得体系结构能够以3种形式存储数据 1.将二进制数据存储到文件系统中 2.RDBMS中的一种记录,包含指向文件系统上二进制数据的指针(id、位置) 3.索引引擎(如Solr/Lucene)中的记录,用于基于数据的搜索要求 请注意,使用RDBMS是为了可靠性,

我想知道在涉及数据库和文件系统的多个数据存储中处理事务的最佳方法是什么

以下是场景:

假设我有一个系统,其中我必须存储数据,其中包含文本和二进制。文本提供元数据信息,二进制数据是要存储的实际数据。此外,数据应基于客户端设置的元数据进行搜索

这使得体系结构能够以3种形式存储数据 1.将二进制数据存储到文件系统中 2.RDBMS中的一种记录,包含指向文件系统上二进制数据的指针(id、位置) 3.索引引擎(如Solr/Lucene)中的记录,用于基于数据的搜索要求

请注意,使用RDBMS是为了可靠性,以便在Solr/Lucene索引损坏的情况下可以进行重新索引

上述场景中的挑战是,它们中的每一个都是不同的数据存储,并且都有自己的事务行为。RDBMS为我提供了事务处理能力,而其他两个则没有

现在的问题是,我想创建跨多个数据存储的事务行为。这意味着任何一个数据存储中的故障都应该恢复其他两个数据存储中的更改

它还提出了一个问题,即应该从哪个数据存储中搜索信息,因此每个数据存储中的数据存储顺序将变得非常重要

在一个示例中,我将执行以下操作

  • 将文件写入文件系统
  • 在Solr/Lucene上创建索引
  • 将记录插入数据库
  • 在上述情况下,如果数据库插入失败并重试,那么我们可以将数据覆盖到文件系统以及索引引擎上。因为在服务器崩溃的情况下,您不希望出现数据库记录和文件系统中没有存储数据的情况

    现在,如果搜索主要由搜索引擎提供服务,那么它可能有过时的数据,而数据库中不存在相应的记录。这意味着数据存储之间存在一致性问题

    我认为需要某种状态引擎,它能够理解数据存储中每个记录的状态,直到最后一次提交为止,并且能够清理过时的数据


    我想知道有没有其他方法来处理这个问题?对于跨多个数据存储插入和更新数据,还有哪些其他技术可以处理这种情况

    显然,你的问题描述了一个相当复杂的场景。跨多个数据存储写入数据,并希望写入操作在所有系统中都是事务性的

    我可以想出三种方法

    使用服务总线

    Mule ESB()提供了自己的事务功能,可以让您相当轻松地将数据写入多个系统

    困难的部分是在其中一个写入失败的情况下实现回滚策略。但是Mule肯定是我的第一个想法,因为它与许多系统有很好的集成,并且它支持事务的思想

    将记录标记为脏记录

    第二种方法是为每个系统中的每个记录引入脏标志。当您开始一个事务时,您会写入数据,并为每个系统中的每个记录将“脏”标志设置为1

    如果所有写入都成功,则需要返回并将标志设置为0。如果失败了,那么很容易返回并删除任何不干净的内容

    对于阅读,你永远不会阅读任何肮脏的东西

    如果您正在写入四条数据,您可以写入三条,第四条失败,而不是重新执行整个事务,您可以继续重试第四条,直到成功。然后返回并将所有内容标记为dirty=0

    Java JTA

    。如果您可以将所有内容包装在X/OpenXA体系结构中,那么这可能会起作用