Rest 无法使用http插件1.2.1到BigQuery创建批处理管道以从ZohoCRM获取数据。重新启动Spark计划'；第一阶段&x27；失败

我在这里的第一篇文章，我是数据融合的新手，我的编码技能很低甚至没有

我想从ZohoCRM到BigQuery获取数据。ZohoCRM中的模块（例如帐户、联系人…）将成为BigQuery中的一个单独表

为了连接Zoho CRM，我获得了一个代码、令牌、刷新令牌以及这里所描述的一切。然后，我通过Postman运行了一个成功的GetRecords请求，如本文所述，它将Zoho CRM Accounts模块中的记录作为JSON文件返回

我想一切都会好的，在数据融合中设置参数 很好。然后我预览并运行了管道，但没有部署它。它失败，日志中包含以下信息。当格式为JSON时，我尝试在模式中手动输入几个字段。我试着把格式改成csv，nether成功了。我尝试打开和关闭验证HTTPS信任证书。这没有帮助

我真的很感谢你的帮助。谢谢

更新，2020-12-03

我联系了谷歌云客户经理，他把我的问题告诉了他们的工程师，这是信息

HTTP插件可用于“定期获取Atom或RSS提要，或获取外部系统的状态”，它似乎不是为API设计的 目前，一个更适合通过API收集数据的工具是Dataflow “Google Cloud Dataflow用作主要ETL机制，从客户指定的API端点提取数据，然后将其转换为所需格式并推送到BigQuery、云存储和发布/订阅。”

---

因此，在接下来的几周里，我将关注数据流。

能否请您附上预览运行的完整日志？确保编辑所有PII数据。另外，您使用的CDF版本是什么？CDF实例是私有的还是公共的

感谢和问候

---

萨加尔

能否请您附上预览运行的完整日志？确保编辑所有PII数据。另外，您使用的CDF版本是什么？CDF实例是私有的还是公共的

感谢和问候

---

Sagar

您是否使用了

数据流

我在HTTP插件上也遇到了同样的问题，但我暂时的解决办法是使用云调度器定期触发一个云函数，该函数从API获取我的数据，并将它们作为JSON导出到GCS，然后通过数据融合访问

---

我的解决方案当然不理想，所以我仍然在寻找使用数据融合HTTP插件的方法。我能够从公共API端点获取样本数据，但由于一个我仍然不知道的原因，我无法将其用于我的实际API。

您最终使用了

数据流吗

我在HTTP插件上也遇到了同样的问题，但我暂时的解决办法是使用云调度器定期触发一个云函数，该函数从API获取我的数据，并将它们作为JSON导出到GCS，然后通过数据融合访问

我的解决方案当然不理想，所以我仍然在寻找使用数据融合HTTP插件的方法。我能够从公共API端点获取样本数据，但由于一个我仍然不知道的原因，我无法将其用于我的实际API。
我无法附加日志，因为我在几个小时前删除了该实例。我只是呆在那里，没有任何活动，我看到账单每天上涨40美元：）我刚刚用GCP团队的一些信息更新了描述。我无法附加日志，因为我在几个小时前删除了该实例。我只是呆在那里没有活动，我看到账单每天上涨40美元：）我只是用GCP团队的一些信息更新了描述。不，我没有使用数据流。然而，数据流让我想到了谷歌的Jupiter笔记本或Colab笔记本。我开始使用它们。然而，从Zoho CRM复制数据的问题并没有通过这种方式得到解决。为此，我看到cData提供了从Zoho到MySQL的复制，我接受了这一点。那是在我发现笔记本和云功能之前。现在我已经设置了colabs，将初始数据从数据库加载到BigQuery，然后使用云函数附加每日更改（如果适用）。对我来说，这更简单、更稳定、更经济。不，我没有使用数据流。然而，数据流让我想到了谷歌的Jupiter笔记本或Colab笔记本。我开始使用它们。然而，从Zoho CRM复制数据的问题并没有通过这种方式得到解决。为此，我看到cData提供了从Zoho到MySQL的复制，我接受了这一点。那是在我发现笔记本和云功能之前。现在我已经设置了colabs，将初始数据从数据库加载到BigQuery，然后使用云函数附加每日更改（如果适用）。对我来说，这是一种更简单、更稳定、更具成本效益的方式。