PHP卷曲、多重卷曲还是其他什么？

我有一个PHP脚本，它循环遍历URL数据库表，为每个URL调用一个PHP cURL，刮取数据，然后将数据保存到不同的数据库中。代码：

$results = $wpdb->get_results("SELECT * FROM urls ORDER BY id DESC");
foreach($results as $row) {
    //PHP CURL STUFF HERE
}

上面的脚本每12分钟使用cPanel的CRON运行一次。我的问题是a）需要更频繁地刮取URL以获得更好的结果，因为有时循环需要时间才能完成，而有些URL在12分钟内没有被覆盖

现在。。上面的策略是唯一的策略还是有更好的解决方案，比如多重卷曲？我在想，如果我能有一个像script.php？url=1这样的东西，然后有一个专门的CRON或类似的东西来处理这个url，这样我就可以跟踪和检查这个url到底发生了什么。这可能吗？如果是，如何进行？如果数据库中有300个URL，我无法为其创建300个cron：(

---

期待您的意见：）=

多次调用PHP不是一个好的解决方案。 为什么你不能在12分钟内完成300个请求？（真慢）

例如，您需要添加一个超时

curl_setopt($ch, CURLOPT_TIMEOUT, 10); //Each url will take 10 sec max

然后显示一个包含URL的日志，以查找慢速请求 使用

curl\u errno（）

检测错误

---

代码28是超时。

您可以通过自焚和忘记请求来产生更多的PHP工作人员。您需要FAF，因为PHP将阻止等待回复。这意味着您需要某种方式来同步您的工作人员，以便他们不会重复工作。这不是很难，但需要一个完整的解决方案。