Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/maven/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript 如何以编程方式激活片段标识符_Javascript_Python_Web Scraping_Web Crawler - Fatal编程技术网

Javascript 如何以编程方式激活片段标识符

Javascript 如何以编程方式激活片段标识符,javascript,python,web-scraping,web-crawler,Javascript,Python,Web Scraping,Web Crawler,我试图抓取Google Local的商业评论,以编程方式获取评论信息。我之所以使用Python,是因为一旦脚本完成,就必须将其构造成这样,以便将其函数导入到更大的Python应用程序中 应用程序可以预期的输入将是如下所示的Google URL: https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=amy%27s+ice+cream&rflfq=1&rlha

我试图抓取Google Local的商业评论,以编程方式获取评论信息。我之所以使用Python,是因为一旦脚本完成,就必须将其构造成这样,以便将其函数导入到更大的Python应用程序中

应用程序可以预期的输入将是如下所示的Google URL:

https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=amy%27s+ice+cream&rflfq=1&rlha=0&tbm=lcl&lrd=0x8644b130384298d3:0xad33336b7377c5a6,1&rlfi=hd:;si:12480375528965522854
正如您在上面的URL中所看到的,有一个片段标识符。
这就是为什么要呈现评论(通过Javascript),删除它会加载一个通用搜索结果页面。我需要能够激活这个以编程方式标识的片段,这样我就可以对评论内容进行爬网。我不知道怎么做。我尝试过传递整个URL,通过WebKit呈现整个页面,然后解析呈现的内容,但它似乎跳过或排除了片段标识符。我不知道如何最好地进行

当通过webKit呈现时,它是否运行整个页面的Javascript?你能告诉我是否有脚本错误吗?你能看到页面中的Javascript正在运行的任何证据吗?我没有得到任何迹象表明任何Javascript实际上正在执行。我建议你在web kit引擎中尝试一个非常简单的页面,它可能只做
文档。write(“hello”)进入页面,您可以看到该内容。如果没有,那么你必须弄清楚为什么你的引擎没有运行JS。