使用Azure从RESTAPI摄取数据

使用Azure从RESTAPI摄取数据,azure,azure-sql-database,azure-functions,azure-data-factory,azure-data-factory-2,Azure,Azure Sql Database,Azure Functions,Azure Data Factory,Azure Data Factory 2,作为POC的一部分,我需要从RESTAPI端点获取数据,该端点将JSON数据作为响应返回,然后将其按原样保存到Azure SQL数据库中 这个RESTAPI将用于历史记录(预计约10000条记录)和将定期执行的增量加载。RESTAPI使用OAuth 2.0访问令牌进行授权 请让我知道在Azure中执行数据摄取的最佳选项,我是否应该使用ADF或Azure函数,以及在ADF中配置REST API的最佳实践是什么,特别是错误处理 如果这个POC成功运行,我还需要在设计中集成几个API调用。我昨天看到了

作为POC的一部分,我需要从RESTAPI端点获取数据,该端点将JSON数据作为响应返回,然后将其按原样保存到Azure SQL数据库中

这个RESTAPI将用于历史记录(预计约10000条记录)和将定期执行的增量加载。RESTAPI使用OAuth 2.0访问令牌进行授权

请让我知道在Azure中执行数据摄取的最佳选项,我是否应该使用ADF或Azure函数,以及在ADF中配置REST API的最佳实践是什么,特别是错误处理


如果这个POC成功运行,我还需要在设计中集成几个API调用。

我昨天看到了这篇关于这个主题的文章,使用DataFactory从rest API提取数据


您的计划间隔时间如何?虽然此链接可以回答问题,但最好在此处包含答案的基本部分,并提供链接供参考。如果链接页面发生更改,仅链接的答案可能会无效。该博客介绍了如何配置rest copy活动,但没有关于错误处理的信息,仅使用基本身份验证。