Unix 使用表中的列表,每分钟重复cURL命令一次
不完全确定我的要求是否可行,但我想我会看到的 我使用cURL命令访问API,该站点允许每分钟最多搜索1次,否则会出现“请求太多”错误 例如,我基本上是手动重复以下内容Unix 使用表中的列表,每分钟重复cURL命令一次,unix,curl,Unix,Curl,不完全确定我的要求是否可行,但我想我会看到的 我使用cURL命令访问API,该站点允许每分钟最多搜索1次,否则会出现“请求太多”错误 例如,我基本上是手动重复以下内容 curl http://example.org/<query ID>.tsv > <filename>.tsv curlhttp://example.org/.tsv >.tsv 如果查询ID是来自数据库的ID,是否有任何方法可以自动执行以下命令,但每次都要更改查询ID和输出文件名。数据
curl http://example.org/<query ID>.tsv > <filename>.tsv
curlhttp://example.org/.tsv >.tsv
如果查询ID是来自数据库的ID,是否有任何方法可以自动执行以下命令,但每次都要更改查询ID和输出文件名。数据库可以通过URL访问,或者我可以将其下载到tsv文件中。我可以访问特定列的每一行,但每分钟只搜索一次吗
数据库是;其中,查询ID对应于条目名称列中的每个值
谢谢 这样的事情当然是可能的,所以在这里搜索
[bash]loop curl
,看看您找到了什么。你会有一些学习的乐趣。任何进一步的问题都应该包括一小部分示例输入、来自同一示例输入的所需输出、您的代码、当前输出、错误消息以及您对为什么它不起作用的问题或担忧。使用一个单独的进程生成“条目名称列中的每个值”的列表,将其保存为文件,然后使用带有sleep 61
命令的循环调用具有正确URL和输出文件的curl可能会更容易。祝你好运。根据你对Python的经验,我建议你在这里搜索类似的术语,但是使用[Python]
而不是[bash]
。提取~4000个值将是困难的部分。由于这确实是一个[web报废]
问题,您需要了解[beautifulsoup]
和类似的工具。一般来说,这类项目可能需要很多时间。您可能会幸运地发现,像import.io
这样的在线自动化工具可以获得您想要的列数据,但这也需要实验时间(并且可能不会给您直接的结果)。祝你好运@Shelleter感谢您的建议,并对格式表示歉意我已经有一段时间没有使用这些论坛了。我已经创建了一个条目名列表,根据我读到的内容,我可以在读的时候使用,然后直接到我的curl函数,然后再睡觉,但还并没有把它完美地写下来,我不确定是否需要先将每个函数分配给一个函数。再次感谢!