如何使用jitterbit从Salesforce查询大数据
我正在处理一个需要将所有Salesforce记录从对象a传输到对象B的需求。为此,我只需要使用Jitterbit ETL工具 在对象中,总共有4000多万条记录, 在源代码中,查询记录时无法使用回写选项。考虑过使用复选框之类的东西,但它会影响基于对象a的其他集成。如果我有这样的想法,我每次只能查询100万个 探讨了不同的选择:如何使用jitterbit从Salesforce查询大数据,salesforce,etl,jitterbit,Salesforce,Etl,Jitterbit,我正在处理一个需要将所有Salesforce记录从对象a传输到对象B的需求。为此,我只需要使用Jitterbit ETL工具 在对象中,总共有4000多万条记录, 在源代码中,查询记录时无法使用回写选项。考虑过使用复选框之类的东西,但它会影响基于对象a的其他集成。如果我有这样的想法,我每次只能查询100万个 探讨了不同的选择: 我想再次查询id和do order by并存储最后一个记录id和do order by,我可以重复这个过程,但在300万条记录之后,id不一致 最后,我决定每月在创建日
- 我想再次查询id和do order by并存储最后一个记录id和do order by,我可以重复这个过程,但在300万条记录之后,id不一致
- 最后,我决定每月在创建日期进行查询,以查询记录
- 我将源记录Id作为外部Id存储在目标中,这样就不会插入重复项
这将是一个很大的帮助,提前感谢您尝试过使用jitterbit dataloader吗?我无法编辑excel,因为它有4000万的海量数据,我需要添加更多的列。因此,我使用了jitterbit脚本并在SOQL查询中使用了Last_n_天,我看到了一个问题,即相同的数据反复出现,例如::CreatedDate>=Last_n_天:367和CreatedDate=Last_n_天:368和CreatedDate