Web scraping 从拆分为页面的列表中抓取数据

Web scraping 从拆分为页面的列表中抓取数据,web-scraping,Web Scraping,我试图从以下两页中摘取一份运动场馆的列表: openplay.co.uk 还有mylocalpitch.com 在第二种情况下,对场馆的搜索结果分为10页。现在,当我在上面运行刮板时,它会查看前十个搜索结果,但不会查看其他页面中“隐藏”的搜索结果。 我当时正在使用一个名为import.io的刮取工具,结果失败得很惨。有没有一种工具可以做到这一点?我需要自己写吗?我为你制作了一个快速的API,让你访问该网站,并设法获得了20多个页面。如果您访问以下链接: 您可以看到一个名为“下一页”的按钮,该按

我试图从以下两页中摘取一份运动场馆的列表: openplay.co.uk 还有mylocalpitch.com 在第二种情况下,对场馆的搜索结果分为10页。现在,当我在上面运行刮板时,它会查看前十个搜索结果,但不会查看其他页面中“隐藏”的搜索结果。
我当时正在使用一个名为import.io的刮取工具,结果失败得很惨。有没有一种工具可以做到这一点?我需要自己写吗?

我为你制作了一个快速的API,让你访问该网站,并设法获得了20多个页面。如果您访问以下链接:

您可以看到一个名为“下一页”的按钮,该按钮将在第10个搜索结果之后显示其他搜索结果


让我知道你的进展如何。

有一个单独的软件推荐网站,因此会有反对票。