Javascript 使用JS事件对网页进行爬网_Javascript_Python_Web Crawler

Javascript 使用JS事件对网页进行爬网

javascript python web-crawler

Javascript 使用JS事件对网页进行爬网,javascript,python,web-crawler,Javascript,Python,Web Crawler,我正在努力从allmusic.com获取2018年发布的单曲列表进入他们的高级搜索页面并输入这些参数很容易，但是我必须手动复制和粘贴这些信息。所有信息都在html中，但它是通过单击搜索按钮和页面导航按钮生成的。url本身不会改变。这让我无法通过有限的喝汤技巧来爬行有人知道如何对java脚本生成的html进行web爬网吗？如果不查看特定网站的详细信息，我想您需要了解JS代码正在生成哪些HTTP请求，并从那里向后工作。首先检查网络调用（例如，在Chrome DevTools中，只需查看网络选项

我正在努力从allmusic.com获取2018年发布的单曲列表

进入他们的高级搜索页面并输入这些参数很容易，但是我必须手动复制和粘贴这些信息。所有信息都在html中，但它是通过单击搜索按钮和页面导航按钮生成的。url本身不会改变。这让我无法通过有限的喝汤技巧来爬行

有人知道如何对java脚本生成的html进行web爬网吗？

如果不查看特定网站的详细信息，我想您需要了解JS代码正在生成哪些HTTP请求，并从那里向后工作。首先检查网络调用（例如，在Chrome DevTools中，只需查看网络选项卡），然后编写一些内容来进行相同的调用以检索数据