Python 如何抓取AJAX网站?

Python 如何抓取AJAX网站?,python,web-scraping,Python,Web Scraping,过去,我使用urllib2库从网站获取源代码。然而,我注意到,对于我最近尝试使用的一个网站,我在源代码中找不到我需要的信息 是我一直在看的网站,我想获得最近播放的歌曲和最近歌曲的播放列表。我基本上想要复制和粘贴网站上可见的、显示的文本,并将其放入字符串中。或者,能够访问以明文形式保存这些值的元素,并通常使用urllib2获取这些值,这将非常好。这两件事都有办法吗 非常感谢。您想要废弃的网站正在使用ajax调用在其页面中填充数据。 有两种方法可以从it中删除数据: 使用支持javascript的

过去,我使用urllib2库从网站获取源代码。然而,我注意到,对于我最近尝试使用的一个网站,我在源代码中找不到我需要的信息

是我一直在看的网站,我想获得最近播放的歌曲和最近歌曲的播放列表。我基本上想要复制和粘贴网站上可见的、显示的文本,并将其放入字符串中。或者,能够访问以明文形式保存这些值的元素,并通常使用urllib2获取这些值,这将非常好。这两件事都有办法吗


非常感谢。

您想要废弃的网站正在使用ajax调用在其页面中填充数据。 有两种方法可以从it中删除数据:

  • 使用支持javascript的无头浏览器(例如ZombieJS),并放弃生成的输出,但这既复杂又过分
  • 了解他们的API是如何工作的,并直接调用它,这样更简单
在浏览网站时,使用Chrome开发工具(网络选项卡)查看通话

例如,给定流最后播放的歌曲列表可以在

这正是我所需要的!考虑到Clear Channel对美国广播市场的束缚,我可以将其推广到其他电台。非常感谢你。