PHP应用程序设计

PHP应用程序设计,php,scraper,Php,Scraper,我必须做一个刮板,将废料约100个URL的,刮板必须运行在一个PHP CLI调用的CronJob。我完全不知道如何处理这个。。。对于每个URL,我想创建一个新文件,以便在我必须更新特定URL的代码时弄清楚 这可能是一个好的选择?然后,就可以从单个CronJob调用所有这些文件了?您希望通过将这100个URL存储在数据库或文本文件中来轻松管理它们。 然后只需加载所有URL,循环浏览它们并调用scrape函数。您希望通过将它们存储在数据库或文本文件中,轻松管理这100个URL。 然后只需加载所有UR

我必须做一个刮板,将废料约100个URL的,刮板必须运行在一个PHP CLI调用的CronJob。我完全不知道如何处理这个。。。对于每个URL,我想创建一个新文件,以便在我必须更新特定URL的代码时弄清楚


这可能是一个好的选择?然后,就可以从单个CronJob调用所有这些文件了?

您希望通过将这100个URL存储在数据库或文本文件中来轻松管理它们。
然后只需加载所有URL,循环浏览它们并调用scrape函数。

您希望通过将它们存储在数据库或文本文件中,轻松管理这100个URL。 然后只需加载所有URL,循环浏览它们并调用scrape函数。

您可以做的是

维护所有100个URL的列表以及别名,可以是任何名称,比如数据库中的“Google”

使用以下命名约定“Alias name.php”为每个URL创建文件,编写代码来解析该文件中的URL

现在您可以调用一个Cronjob,它将从数据库中检索所有URL。您可以循环遍历每个URL,并使用相应的别名执行文件

比如说。 如果您的URL为:http://google.com 它的别名是谷歌。为此,您需要创建名为Google.php的文件,编写用于报废的代码。在cron作业中,您将有如下代码

$urls = getAllURLs();    
foreach($urls as $url){

include_once($url['alias'].".php");

}
希望这会有所帮助

谢谢

侯赛因你能做的就是

维护所有100个URL的列表以及别名,可以是任何名称,比如数据库中的“Google”

使用以下命名约定“Alias name.php”为每个URL创建文件,编写代码来解析该文件中的URL

现在您可以调用一个Cronjob,它将从数据库中检索所有URL。您可以循环遍历每个URL,并使用相应的别名执行文件

比如说。 如果您的URL为:http://google.com 它的别名是谷歌。为此,您需要创建名为Google.php的文件,编写用于报废的代码。在cron作业中,您将有如下代码

$urls = getAllURLs();    
foreach($urls as $url){

include_once($url['alias'].".php");

}
希望这会有所帮助

谢谢

侯赛因