Azure data factory 使用Azure数据工厂从HTTPS webservice读取API数据

Azure data factory 使用Azure数据工厂从HTTPS webservice读取API数据,azure-data-factory,azure-data-lake,azure-data-factory-2,Azure Data Factory,Azure Data Lake,Azure Data Factory 2,我正在尝试从Web服务API接收数据,源是XML格式,因为Azure data Factory不支持XML格式,我正在以二进制格式读取数据,并将其加载到Azure data lake gen2中,然后使用Azure DataRicks转换为XML、csv 问题: 我可以从API中读取令牌id,但不能读取实际数据,这意味着使用令牌id我必须获取实际数据。请任何人对此提供帮助。 注意:使用HTTP链接服务接收数据。 所有接头良好,测试连接成功。 下面是我从ADF中看到的错误消息 "errorCode

我正在尝试从Web服务API接收数据,源是XML格式,因为Azure data Factory不支持XML格式,我正在以二进制格式读取数据,并将其加载到Azure data lake gen2中,然后使用Azure DataRicks转换为XML、csv

问题: 我可以从API中读取令牌id,但不能读取实际数据,这意味着使用令牌id我必须获取实际数据。请任何人对此提供帮助。 注意:使用HTTP链接服务接收数据。 所有接头良好,测试连接成功。 下面是我从ADF中看到的错误消息

"errorCode": "2200",
"message": "Failure happened on 'Sink' side. ErrorCode=UserErrorFailedToReadHttpFile,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=The remote server returned an error: (500) Internal Server Error.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (500) Internal Server Error.,Source=System,'",
"failureType": "UserError",
"target": "Copy data1",
"details": []
}

我很抱歉,如果有人不理解这个问题,我可以发布清楚。
谢谢,

根据您的描述,我认为您可以使用,而不是网络活动

使用WehHook活动,您可以调用端点并传递回调URL。管道运行将等待调用回调,然后再继续执行下一个活动

实际步骤是将正文中的附加属性“callBackUri”(摄取数据API)传递给url端点(获取令牌API),并期望在指定的超时值之前调用此uri


更新:


最后,OP选择了databricks作为解决方案,效果很好。

根据您的描述,我认为您可以使用,而不是Web活动

使用WehHook活动,您可以调用端点并传递回调URL。管道运行将等待调用回调,然后再继续执行下一个活动

实际步骤是将正文中的附加属性“callBackUri”(摄取数据API)传递给url端点(获取令牌API),并期望在指定的超时值之前调用此uri


更新:


最后,OP选择了databricks作为解决方案,效果很好。

感谢您的回复,也许可以使用webhook活动,不管怎样,我使用databricks访问API。效果很好。@Sra1K没关系,我在回答中总结了最终的解决方案。如果您不介意,您可以接受它作为结束本案例的答案。感谢您的回复,也许可以使用webhook活动,不管怎样,我使用了Databricks来访问API。它工作得很好。@Sra1K没关系,我在回答中总结了最终的解决方案。如果您不介意,您可以接受它作为结束此案例的答案。