PHP应用程序设计
我必须做一个刮板,将废料约100个URL的,刮板必须运行在一个PHP CLI调用的CronJob。我完全不知道如何处理这个。。。对于每个URL,我想创建一个新文件,以便在我必须更新特定URL的代码时弄清楚PHP应用程序设计,php,scraper,Php,Scraper,我必须做一个刮板,将废料约100个URL的,刮板必须运行在一个PHP CLI调用的CronJob。我完全不知道如何处理这个。。。对于每个URL,我想创建一个新文件,以便在我必须更新特定URL的代码时弄清楚 这可能是一个好的选择?然后,就可以从单个CronJob调用所有这些文件了?您希望通过将这100个URL存储在数据库或文本文件中来轻松管理它们。 然后只需加载所有URL,循环浏览它们并调用scrape函数。您希望通过将它们存储在数据库或文本文件中,轻松管理这100个URL。 然后只需加载所有UR
这可能是一个好的选择?然后,就可以从单个CronJob调用所有这些文件了?您希望通过将这100个URL存储在数据库或文本文件中来轻松管理它们。
然后只需加载所有URL,循环浏览它们并调用scrape函数。您希望通过将它们存储在数据库或文本文件中,轻松管理这100个URL。 然后只需加载所有URL,循环浏览它们并调用scrape函数。您可以做的是 维护所有100个URL的列表以及别名,可以是任何名称,比如数据库中的“Google” 使用以下命名约定“Alias name.php”为每个URL创建文件,编写代码来解析该文件中的URL 现在您可以调用一个Cronjob,它将从数据库中检索所有URL。您可以循环遍历每个URL,并使用相应的别名执行文件 比如说。 如果您的URL为:http://google.com 它的别名是谷歌。为此,您需要创建名为Google.php的文件,编写用于报废的代码。在cron作业中,您将有如下代码
$urls = getAllURLs();
foreach($urls as $url){
include_once($url['alias'].".php");
}
希望这会有所帮助
谢谢
侯赛因你能做的就是
维护所有100个URL的列表以及别名,可以是任何名称,比如数据库中的“Google”
使用以下命名约定“Alias name.php”为每个URL创建文件,编写代码来解析该文件中的URL
现在您可以调用一个Cronjob,它将从数据库中检索所有URL。您可以循环遍历每个URL,并使用相应的别名执行文件
比如说。
如果您的URL为:http://google.com 它的别名是谷歌。为此,您需要创建名为Google.php的文件,编写用于报废的代码。在cron作业中,您将有如下代码
$urls = getAllURLs();
foreach($urls as $url){
include_once($url['alias'].".php");
}
希望这会有所帮助
谢谢
侯赛因