Web scraping 从网站上删除链接-can';我看不到href

Web scraping 从网站上删除链接-can';我看不到href,web-scraping,Web Scraping,我想搜集一些新西兰惠灵顿的平均房屋租金表。惠灵顿的每个郊区都有单独的表格,每个表格都有自己的页面。我遇到的问题是找到每一页的地址,这样我就可以刮表了 这是我正在工作的网站的链接。为了找到郊区页面的链接,我使用了谷歌浏览器中的“查看页面源代码”选项。然而,尽管可以点击每个郊区查看租金表,html似乎没有提供链接;没有href 有人能解释一下没有href的链接是怎么回事吗?还有,有人知道如何找到每个表的链接吗?最后,我希望使用迭代遍历郊区URL列表,并使用python的BeautifulSoup模块

我想搜集一些新西兰惠灵顿的平均房屋租金表。惠灵顿的每个郊区都有单独的表格,每个表格都有自己的页面。我遇到的问题是找到每一页的地址,这样我就可以刮表了

这是我正在工作的网站的链接。为了找到郊区页面的链接,我使用了谷歌浏览器中的“查看页面源代码”选项。然而,尽管可以点击每个郊区查看租金表,html似乎没有提供链接;没有href

有人能解释一下没有href的链接是怎么回事吗?还有,有人知道如何找到每个表的链接吗?最后,我希望使用迭代遍历郊区URL列表,并使用python的BeautifulSoup模块提取租金表

亲切问候,,
Alex

你是对的,它们不是“链接”,从这个意义上讲,它们中没有href字段。每个“链接”实际上是一个
类型
submit
的表单元素。这是一种非常有趣(非标准)的做事方式

以下是一些了解html表单的地方:


通过引用包含url和提交“方法”(POST或GET)的父
元素,并通过从相应的
元素确定每个“链接”的请求参数,您将能够为每个表构建完整的http请求。

您是对的,它们不是“链接”,从这个意义上讲,它们中没有href字段。每个“链接”实际上是一个
类型
submit
的表单元素。这是一种非常有趣(非标准)的做事方式

以下是一些了解html表单的地方:


通过引用包含url和提交“方法”(POST或GET)的父
元素,并通过从相应的
元素确定每个“链接”的请求参数,您将能够为每个表构建完整的http请求。

谢谢。我查看了这些链接,其中提供了一些关于如何编写生成表单的HTML的好例子。你提到了POST和GET。我找到了一些例子,在这些例子中,我可以编写一个输入字段,并使用$\u GET重现输入。作为用户,我可以访问$\u GET吗?我想知道作为用户而不是网页设计者访问这些字段需要阅读什么。你介意给我一个指针吗?看起来你有一些阅读要做:)。我只能给你指点。不要担心$\u-GET,它是服务器端PHP,而不是客户端python。您将希望通过解析表单数据并构建一个http请求来模拟浏览器的功能,然后将该请求发送到服务器。您需要学习http,特别是html表单,以及python,除非您已经了解它。你可能会发现这些很有用:谢谢。是的,我有很多书要读。我对搜索术语“客户端python”不太熟悉。还要感谢指向urllib2的指针,它看起来正是我需要阅读的内容。我想我应该为像我这样的新手发布一些资源。Python客户端-。python中的web抓取示例-。谢谢。我查看了这些链接,其中提供了一些关于如何编写生成表单的HTML的好例子。你提到了POST和GET。我找到了一些例子,在这些例子中,我可以编写一个输入字段,并使用$\u GET重现输入。作为用户,我可以访问$\u GET吗?我想知道作为用户而不是网页设计者访问这些字段需要阅读什么。你介意给我一个指针吗?看起来你有一些阅读要做:)。我只能给你指点。不要担心$\u-GET,它是服务器端PHP,而不是客户端python。您将希望通过解析表单数据并构建一个http请求来模拟浏览器的功能,然后将该请求发送到服务器。您需要学习http,特别是html表单,以及python,除非您已经了解它。你可能会发现这些很有用:谢谢。是的,我有很多书要读。我对搜索术语“客户端python”不太熟悉。还要感谢指向urllib2的指针,它看起来正是我需要阅读的内容。我想我应该为像我这样的新手发布一些资源。Python客户端-。python中的web抓取示例-。