Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/search/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web scraping 抓取一个网站——这可能吗?_Web Scraping_Web Crawler - Fatal编程技术网

Web scraping 抓取一个网站——这可能吗?

Web scraping 抓取一个网站——这可能吗?,web-scraping,web-crawler,Web Scraping,Web Crawler,我想从LPS网站上提取北爱尔兰房地产的费率值 我是一个通情达理的php程序员,但我不知道该怎么做。有没有人能告诉我,为了做到这一点,我需要找出什么方向 甚至可以做我想做的事吗 使用Php抓取数据耗时且由代码驱动。您可以编写脚本并从站点提取数据,但我建议您自动执行该过程。是的,这是非常可行的。 指针:忽略尝试进入表单,所有的数据都可以通过静态链接访问,因为所有的属性都是固定的,所以只需要刮除每一层的链接就可以在循环中构建循环,例如:委员会、病房、街道等,直到你最终开始使用cURL或甚至只需使用fi

我想从LPS网站上提取北爱尔兰房地产的费率值

我是一个通情达理的php程序员,但我不知道该怎么做。有没有人能告诉我,为了做到这一点,我需要找出什么方向


甚至可以做我想做的事吗

使用Php抓取数据耗时且由代码驱动。您可以编写脚本并从站点提取数据,但我建议您自动执行该过程。

是的,这是非常可行的。
指针:
忽略尝试进入表单,所有的数据都可以通过静态链接访问,因为所有的属性都是固定的,所以只需要刮除每一层的链接就可以在循环中构建循环,例如:委员会、病房、街道等,直到你最终开始使用cURL或甚至只需使用file\u get\u contents和regex从你不想要的位中取出肉。存储以供以后在数据库中使用。

Scrapy是我最喜欢的工具-访问的自动化违反了标准
.gov.uk
网站EULA。这里也有很多关于处理类似事情的问题,网上也有数千篇关于它的文章。在谷歌上快速搜索“PHPWebspider”或“php下载url”将为您提供所需的一切。