发送REST请求以获取邮递员获取的数据

发送REST请求以获取邮递员获取的数据,rest,google-bigquery,google-cloud-storage,google-compute-engine,Rest,Google Bigquery,Google Cloud Storage,Google Compute Engine,我正在从Salesforce获取一些数据,以便将它们存储在GCP中。似乎没有任何直接连接双方的工具,因此我的做法是使用Postman向Salesforce发送REST请求,从而获取数据。现在,我的问题是如何将这些数据存储到云存储或BigQuery中,因为如果这样做是正确的,我找不到在GCP和Postman之间创建通道的方法。任何建议都将不胜感激。我认为最好至少编写一个原型或python脚本。但您可能可以使用点击salesforce api并将响应推送到本地文件,然后使用cloud tools C

我正在从Salesforce获取一些数据,以便将它们存储在GCP中。似乎没有任何直接连接双方的工具,因此我的做法是使用Postman向Salesforce发送REST请求,从而获取数据。现在,我的问题是如何将这些数据存储到云存储或BigQuery中,因为如果这样做是正确的,我找不到在GCP和Postman之间创建通道的方法。任何建议都将不胜感激。

我认为最好至少编写一个原型或python脚本。但您可能可以使用点击salesforce api并将响应推送到本地文件,然后使用cloud tools CLI将其发送到云存储。记住,对SF的api调用的结果将是原始json格式。您可能可以将不同的命令组合到一个bash脚本中,以便在各个命令正常工作后,使运行的端到端可重复

curl https://***instance_name***.salesforce.com/services/data/v42.0/ -H "Authorization: Bearer access_token_from_auth_call" > response.txt

gsutil cp ./response.txt gs://your-gs-bucket

这是一件您永远不会再做的一次性事情,还是您正在寻找一个可重复的过程,因为编写一些java或python代码作为中间件,从rest api/bulk中提取数据并将其写入GCP,而不是手动尝试这样做可能是有意义的谢谢您@Gareth Jordan。现在,作为测试过程的一部分,我只想做一次,但在未来,这肯定是一个可重复的过程。再次感谢@Gareth Jordan。根据您的建议,我使用了Postman提供的cUrl代码,它在Postman内部导入时运行良好,但在通过命令行运行时失败。显然,它什么也不做,也不会提示错误消息。所以,我无法测试整个过程,但我明白你的意思。最后,似乎需要一个中间文件才能将te数据从Salesforce加载到GCP,除非使用Analytics 360。请确保将访问令牌括在引号中,或将其转义!带着一个\!是的,我查过了,但也没用。无论如何,这个过程正如你上面提到的。再次感谢!