Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/php/283.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用PHP从URL列表中提取特定URL_Php_Web Scraping - Fatal编程技术网

使用PHP从URL列表中提取特定URL

使用PHP从URL列表中提取特定URL,php,web-scraping,Php,Web Scraping,我有一个超过100个网页的列表,我需要从中找到一个特定的URL。现在,我必须手动清理每个页面,找到URL并记下它们。有办法找到这个吗?应该这样做,将链接放在一个名为links.txt的文件中 并将代码中的example.com替换为要搜索的url,然后执行 编辑: 感谢阿卜杜拉。正如您所建议的,我将所有链接复制到links.txt文件,并使用上述代码创建了一个php页面,并将其上载到服务器。它似乎不起作用。代替links.txt,我可以在数组中设置URL,并且仍然使用此代码。对不起,我对编程很陌

我有一个超过100个网页的列表,我需要从中找到一个特定的URL。现在,我必须手动清理每个页面,找到URL并记下它们。有办法找到这个吗?

应该这样做,将链接放在一个名为links.txt的文件中 并将代码中的example.com替换为要搜索的url,然后执行

编辑:


感谢阿卜杜拉。正如您所建议的,我将所有链接复制到links.txt文件,并使用上述代码创建了一个php页面,并将其上载到服务器。它似乎不起作用。代替links.txt,我可以在数组中设置URL,并且仍然使用此代码。对不起,我对编程很陌生。这很漂亮。工作完美。无法投票,因为我还没有代表。但是非常感谢。可以添加到阵列中的链接数量有限制吗?或者我需要一个更好的服务器来运行更多的链接吗?也许时间限制已经结束了,你可以通过将这个set_time_limit0设置为无穷大;在foreach行之后,如果您有很多link2000+,那么我建议您使用python,因为它速度更快,可以处理线程。
<?php

$theURL = "example.com";
$webPagesURLs = "
http://example.com
http://example1.com
https://en.wikipedia.org/wiki/Example.com
http://example2.com
";
foreach(explode("\n",trim($webPagesURLs)) as $webPageURL){
    $webPageContent = @file_get_contents($webPageURL);
    if(strpos($webPageContent, $theURL) !== false ){
        print "$theURL Found in <a href=$webPageURL > $webPageURL </a><br>\n";
    }
}

?>