Python 如何抓取AJAX网站?
过去,我使用urllib2库从网站获取源代码。然而,我注意到,对于我最近尝试使用的一个网站,我在源代码中找不到我需要的信息 是我一直在看的网站,我想获得最近播放的歌曲和最近歌曲的播放列表。我基本上想要复制和粘贴网站上可见的、显示的文本,并将其放入字符串中。或者,能够访问以明文形式保存这些值的元素,并通常使用urllib2获取这些值,这将非常好。这两件事都有办法吗Python 如何抓取AJAX网站?,python,web-scraping,Python,Web Scraping,过去,我使用urllib2库从网站获取源代码。然而,我注意到,对于我最近尝试使用的一个网站,我在源代码中找不到我需要的信息 是我一直在看的网站,我想获得最近播放的歌曲和最近歌曲的播放列表。我基本上想要复制和粘贴网站上可见的、显示的文本,并将其放入字符串中。或者,能够访问以明文形式保存这些值的元素,并通常使用urllib2获取这些值,这将非常好。这两件事都有办法吗 非常感谢。您想要废弃的网站正在使用ajax调用在其页面中填充数据。 有两种方法可以从it中删除数据: 使用支持javascript的
非常感谢。您想要废弃的网站正在使用ajax调用在其页面中填充数据。 有两种方法可以从it中删除数据:
- 使用支持javascript的无头浏览器(例如ZombieJS),并放弃生成的输出,但这既复杂又过分
- 了解他们的API是如何工作的,并直接调用它,这样更简单
这正是我所需要的!考虑到Clear Channel对美国广播市场的束缚,我可以将其推广到其他电台。非常感谢你。