Google cloud platform 从正在同时写入的表中读取扳手数据

我正在通过数据流作业将扳手数据复制到BigQuery。作业计划每15分钟运行一次。问题是，如果数据是从同时写入的扳手表读取的，则在复制到BigQuery时会丢失一些记录

---

我在读取扳手数据时使用readOnlyTransaction（）。在执行此活动时，我是否必须采取任何其他预防措施？

建议使用Cloud Paner提交时间戳来填充列，如

update\u date

。提交时间戳允许应用程序确定突变的确切顺序

使用

update\u date

的提交时间戳并指定准确的读取时间戳，数据流作业将能够找到自上次运行以来写入/提交的所有现有记录

---

建议使用云扳手提交时间戳来填充

update\u date

等列。提交时间戳允许应用程序确定突变的确切顺序

使用

update\u date

的提交时间戳并指定准确的读取时间戳，数据流作业将能够找到自上次运行以来写入/提交的所有现有记录

如果数据是从同时写入的扳手表中读取的，则在复制到BigQuery时会丢失一些记录

这就是事务的工作方式。它们在创建事务时显示数据库的“快照视图”，因此不包括在此快照之后写入的任何行

例如，在行上使用提交时间戳，并跟踪上次导出时的时间戳（可从中获得），将允许您准确地选择“自上次导出以来的新/更新行”

如果数据是从同时写入的扳手表中读取的，则在复制到BigQuery时会丢失一些记录

这就是事务的工作方式。它们在创建事务时提供数据库的“快照视图”，因此不包括在此快照之后写入的任何行

---

例如，在行上使用提交时间戳，并跟踪上次导出时的时间戳（可从中获得，这将允许您准确地选择“自上次导出以来的新/更新行”

您能否提供有关数据流作业的更多信息？例如，它是否每15分钟以特定时间戳读取整个表，并写出所有数据？它每15分钟读取最新数据。DF作业拾取数据更新日期>最大值（更新日期）上一次运行的“yyyy-mm-dd hh:mm；ss.SSS”。能否提供有关数据流作业的更多信息？例如，它是否每15分钟读取一个特定时间戳的整个表，并写出所有数据？它每15分钟读取一次最新数据。DF作业拾取具有update\u date>max（update\u date）的数据上次运行中的“yyyy-mm-dd hh:mm；ss.SSS”。