Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/javascript/422.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在服务器端(从网页)刮取javascript生成的数据?_Javascript_Html_Screen Scraping_Web Scraping - Fatal编程技术网

在服务器端(从网页)刮取javascript生成的数据?

在服务器端(从网页)刮取javascript生成的数据?,javascript,html,screen-scraping,web-scraping,Javascript,Html,Screen Scraping,Web Scraping,我需要获得[房地产代理名称],[房地产许可证号码],它是[注册号和销售人员]从 其中,licNo有数千个不同的变量,并形成数千个URL。 最终结果必须是excel格式。 注意:其中一些具有分页功能,如: 有什么方法可以刮取我需要的数据吗?包括结果不是excel格式的方法我尝试使用watir和php。不幸的是,office network似乎被禁止或配置了一些东西,因此我无法正确安装以使用watir和php。现在我计划尝试javascript或vba。顺便说一下,我的问题缺少来源,即所有链接都来自

我需要获得[房地产代理名称],[房地产许可证号码],它是[注册号和销售人员]从 其中,licNo有数千个不同的变量,并形成数千个URL。 最终结果必须是excel格式。 注意:其中一些具有分页功能,如:


有什么方法可以刮取我需要的数据吗?包括结果不是excel格式的方法

我尝试使用watir和php。不幸的是,office network似乎被禁止或配置了一些东西,因此我无法正确安装以使用watir和php。现在我计划尝试javascript或vba。顺便说一下,我的问题缺少来源,即所有链接都来自此,增加了难度,因为首先需要按字母顺序单击。其次,每个字母表都有链接列表,单击每个链接后,需要返回列表并单击后续链接。最后,要获取的数据及其超链接不是直接来自html源代码,而是来自javascript函数,意味着需要使用dom或dom支持的工具。哦,还有一些具有分页功能。您可以尝试irobot。在这里查看他们的论坛:如果数据是通过javascript生成的,请尝试我构建它以帮助JS站点能够被搜索引擎抓取。