Python 我怎样才能有效地从一个有返回限制的网站上获取每个条目？

我对解析来自联邦工作站点的所有条目感兴趣：用于数据分析

我已经通读了API，在本节中，它说：

每个查询最多5000条工作记录*（我的输出中实际获得10000条工作记录）

每个请求最多返回500个作业记录

以下是API参考的其余部分：

---

所以我的问题是：

在找到所有记录之前，如何转到下一个10000

我在做什么：

response = requests.get('https://data.usajobs.gov/api/Search?Page=20&ResultsPerPage=500', headers=headers)

以.json的形式，每页给我500个结果，我通过一个增量页面循环将它们全部转储到一个.json中，直到第20页，结果都是10000个。在找到所有条目之前，我不确定如何获得下一个10000

另一个想法是，我可以为每个州做一个查询，但缺点是我会失去美国以外的一切

---

如果有人能给我指出一个正确的方向，找到一种比我提出的想法更好、更简单、更有效的方式来获取所有条目，我也会很感激。

服务器在找不到更多页面时可能会出错。试试像这样的东西

“…第页=25000&…”

---

只是想看看它给出了什么，然后将while循环与手动管理的递增器一起使用，而不是for循环。while循环的停止条件是检查服务器是否返回错误页。

您编写的特定请求似乎只给出了第20页，对吗？是什么阻止你放“…Page=21&…”？嗨，Eric，第一页给出了500个结果，我把它附加到一个文件中，第二页给出了另外500个，一直到第20页。这就是全部10000个结果。尝试第21页不会返回结果。我知道肯定有10000多个结果，但它只返回10000个结果，除以500个结果增量。