Pagination Azure数据工厂REST API立即提供服务-分页问题

我们正在尝试使用Azure Data Factory使用REST API连接器从ServiceNow提取数据

我们已经尝试在ADF中使用特定的ServiceNow连接器，但这并不能很好地满足我们的需要-我们需要使用实际值和显示值，并经常进行小负载，您无法在适当的位置过滤显示，因此速度太慢

在简单的测试中，RESTAPI工作得很好，具体的挑战是分页。在初始GET请求之后，ServiceNow API以以下格式返回响应头中的相对链接：

Link →<url>;rel="first",<url>;rel="next",<url>;rel="last"

标题。['Link']部分的格式似乎正确，但不够具体

---

是否有人建议应该采用什么设置来实现此功能？

使用REST api，您可以通过将此参数添加到链接来进行分页

&sysparm_offset=10000

如果要添加较低的限制，则“限制”默认为10000

&sysparm_limit=300

---

并相应地调整偏移量。

使用REST api，您可以通过将此参数添加到链接来进行分页

&sysparm_offset=10000

如果要添加较低的限制，则“限制”默认为10000

&sysparm_limit=300

---

并相应地调整偏移量。

如果我的理解是正确的，您希望从链接头中提取第三个作为下一页的URL。 链接→;rel=“第一次”，；rel=“下一步”，；rel=“last”

---

在这种情况下，分页规则当前不支持字符串提取之类的表达式。

如果我的理解正确，您希望从链接头中提取第三个作为下一页的URL。 链接→;rel=“第一次”，；rel=“下一步”，；rel=“last”

---

在这种情况下，分页规则目前不支持字符串提取之类的表达式。

你好，Tommy-谢谢，是的，我们知道我们可以控制以这种方式返回的第一条记录的偏移量，这就是分页链接在页面中移动的方式。但是，我们正在寻找一种使用分页规则设置的方法，以便管道自动遍历每个页面，直到返回所有记录。我们正在研究一种变通方法，在该方法中，我们创建一个for-each循环，以迭代方式调用每次递增偏移量的API。这应该是可行的，但这应该是可以自动实现的。嗨，汤米，谢谢，是的，我们知道我们可以通过这种方式控制返回的第一条记录的偏移量，这就是分页链接在页面中移动的方式。但是，我们正在寻找一种使用分页规则设置的方法，以便管道自动遍历每个页面，直到返回所有记录。我们正在研究一种变通方法，在该方法中，我们创建一个for-each循环，以迭代方式调用每次递增偏移量的API。这应该是可行的，但这应该是自动可能的。嗨，大卫-好的，我怀疑这是一个限制。感谢您让我们知道，因为现在我们有了一个模拟分页的工作环境，可以根据需要工作。希望它将来会得到支持，我们可以修改解决方案，使它更优雅。你好，大卫-好的，我怀疑这是一个限制。感谢您让我们知道，因为现在我们有了一个模拟分页的工作环境，可以根据需要工作。希望将来它会得到支持，我们可以修改解决方案，使它更优雅。嘿@JamesAD，你找到这个问题的解决方案了吗？我遇到了同样的问题，但我想我将使用databricks和python来实现snowapi。使用python，我可以更轻松地进行分页。嘿@JamesAD，你找到这个问题的解决方案了吗？我遇到了同样的问题，但我想我将使用databricks和python来实现snowapi。使用python，我可以更轻松地进行分页。