Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/image-processing/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用jitterbit从Salesforce查询大数据_Salesforce_Etl_Jitterbit - Fatal编程技术网

如何使用jitterbit从Salesforce查询大数据

如何使用jitterbit从Salesforce查询大数据,salesforce,etl,jitterbit,Salesforce,Etl,Jitterbit,我正在处理一个需要将所有Salesforce记录从对象a传输到对象B的需求。为此,我只需要使用Jitterbit ETL工具 在对象中,总共有4000多万条记录, 在源代码中,查询记录时无法使用回写选项。考虑过使用复选框之类的东西,但它会影响基于对象a的其他集成。如果我有这样的想法,我每次只能查询100万个 探讨了不同的选择: 我想再次查询id和do order by并存储最后一个记录id和do order by,我可以重复这个过程,但在300万条记录之后,id不一致 最后,我决定每月在创建日

我正在处理一个需要将所有Salesforce记录从对象a传输到对象B的需求。为此,我只需要使用Jitterbit ETL工具

在对象中,总共有4000多万条记录, 在源代码中,查询记录时无法使用回写选项。考虑过使用复选框之类的东西,但它会影响基于对象a的其他集成。如果我有这样的想法,我每次只能查询100万个

探讨了不同的选择:

  • 我想再次查询id和do order by并存储最后一个记录id和do order by,我可以重复这个过程,但在300万条记录之后,id不一致

  • 最后,我决定每月在创建日期进行查询,以查询记录

  • 我将源记录Id作为外部Id存储在目标中,这样就不会插入重复项

有没有更好的方法?以前有人做过这种情况吗?请告诉我


这将是一个很大的帮助,提前感谢

您尝试过使用jitterbit dataloader吗?我无法编辑excel,因为它有4000万的海量数据,我需要添加更多的列。因此,我使用了jitterbit脚本并在SOQL查询中使用了Last_n_天,我看到了一个问题,即相同的数据反复出现,例如::CreatedDate>=Last_n_天:367和CreatedDate=Last_n_天:368和CreatedDate