salesforce中的大数据负载

我遇到了奇怪的限制，想听听是否有人解决了这个问题

问题陈述：从外部加载salesforce中的数据。数据量为每3小时突发100万条记录

我的源代码编排工具（NiFi）能够生成如此多的RESTAPI，但salesforce要求不要以如此大的吞吐量使用REST。我不确定销售人员或产品团队是否创造了一个人为的上限

他们建议使用dataloader，它似乎是salesforce的批处理加载器，但也没有那么快。它也有不同的问题。当我得到数据时，我不能触发dataloader，所以也没有什么帮助

很久以前，我使用Informatica连接到salesforce，我们曾经传递类似数量的数据，而且没有任何问题。有人能回答informatica connector是如何解决这个瓶颈问题的吗？它下面使用了什么

---

还有其他方法可以将这么多数据推送到salesforce吗？

简短回答：重新思考您的用例。重写应用程序以使用不同的连接到SF的机制

详细回答：标准SalesforceAPI（SOAP或REST，无所谓）是同步的。请求-响应，工作完成。一次API调用最多只能有200条记录。您的卷更适合批量API。这只是REST（尽管它可以接受XML、JSON或CSV），在一个API调用中最多可以有10K条记录。关键的区别在于它是异步的。你提交作业，你得到作业的id，你可以检查它（每10秒？每分钟？）“它完成了吗？如果是-给我我的成功/失败结果”。但是这些检查中的每一个当然也会消耗1个API调用。同时，SF从您那里收到了一堆压缩文件，并将尽可能快地解压和处理它们

因此（忽略初始的

登录

调用）让我们讨论一下限制。在沙盒中，API调用的24小时滚动限制为500万次。大量的在生产过程中，每拥有一个完整许可证用户（销售云、服务云）就有15K API调用+1K+您可以购买更多容量。。。或者直接进入设置->公司信息并检查您的限额

假设您有5个用户，因此每天有2万个电话投入生产。在24小时内，以最大容量，您将能够推送10K*20K=200M的插入/更新。嗯，由于登录调用、检查状态和拉取结果文件，所以减少了一点，但仍然很好。如果这还不够——你还有更大的问题；）使用标准API可以让您获得200*20K=仅400万条记录

SF支持人员告诉您使用数据加载器，因为在DL中，只需勾选一个复选框即可使用批量API。您不在乎后端机制是否不同。您甚至可以编写从命令行运行的数据加载器脚本（第4章）。或者，如果是Java应用程序，只需重用构建DL UI的JAR文件即可

这些可能也有帮助：

他们使用批量api