Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/unix/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Unix 使用表中的列表,每分钟重复cURL命令一次_Unix_Curl - Fatal编程技术网

Unix 使用表中的列表,每分钟重复cURL命令一次

Unix 使用表中的列表,每分钟重复cURL命令一次,unix,curl,Unix,Curl,不完全确定我的要求是否可行,但我想我会看到的 我使用cURL命令访问API,该站点允许每分钟最多搜索1次,否则会出现“请求太多”错误 例如,我基本上是手动重复以下内容 curl http://example.org/<query ID>.tsv > <filename>.tsv curlhttp://example.org/.tsv >.tsv 如果查询ID是来自数据库的ID,是否有任何方法可以自动执行以下命令,但每次都要更改查询ID和输出文件名。数据

不完全确定我的要求是否可行,但我想我会看到的

我使用cURL命令访问API,该站点允许每分钟最多搜索1次,否则会出现“请求太多”错误

例如,我基本上是手动重复以下内容

     curl http://example.org/<query ID>.tsv > <filename>.tsv
curlhttp://example.org/.tsv >.tsv
如果查询ID是来自数据库的ID,是否有任何方法可以自动执行以下命令,但每次都要更改查询ID和输出文件名。数据库可以通过URL访问,或者我可以将其下载到tsv文件中。我可以访问特定列的每一行,但每分钟只搜索一次吗

数据库是;其中,查询ID对应于条目名称列中的每个值


谢谢

这样的事情当然是可能的,所以在这里搜索
[bash]loop curl
,看看您找到了什么。你会有一些学习的乐趣。任何进一步的问题都应该包括一小部分示例输入、来自同一示例输入的所需输出、您的代码、当前输出、错误消息以及您对为什么它不起作用的问题或担忧。使用一个单独的进程生成“条目名称列中的每个值”的列表,将其保存为文件,然后使用带有
sleep 61
命令的循环调用具有正确URL和输出文件的curl可能会更容易。祝你好运。根据你对Python的经验,我建议你在这里搜索类似的术语,但是使用
[Python]
而不是
[bash]
。提取~4000个值将是困难的部分。由于这确实是一个
[web报废]
问题,您需要了解
[beautifulsoup]
和类似的工具。一般来说,这类项目可能需要很多时间。您可能会幸运地发现,像
import.io
这样的在线自动化工具可以获得您想要的列数据,但这也需要实验时间(并且可能不会给您直接的结果)。祝你好运@Shelleter感谢您的建议,并对格式表示歉意我已经有一段时间没有使用这些论坛了。我已经创建了一个条目名列表,根据我读到的内容,我可以在读的时候使用
,然后直接到我的curl函数,然后再睡觉,但还并没有把它完美地写下来,我不确定是否需要先将每个函数分配给一个函数。再次感谢!