Python 从向下滚动时加载其他图像的网页下载图像_Python_Web Scraping

Python 从向下滚动时加载其他图像的网页下载图像

python web-scraping

Python 从向下滚动时加载其他图像的网页下载图像,python,web-scraping,Python,Web Scraping,有一些网站，比如在向下滚动页面后加载其他图像，在python中，从该链接下载所有图像的最佳方式是什么，包括在向下滚动页面时加载的图像？你能给我举个例子吗？你可能需要在页面中运行Java脚本。这个链接可能会有帮助：如果页面使用JavaScript，那么您可能需要使用Selenium来控制可以运行JavaScript的web浏览器。或者使用Chrome/Firefox中的DevTool，您可以尝试查找JavaScript用于加载新数据的url，然后您可以尝试使用此url在不使用Selenium的情况

有一些网站，比如在向下滚动页面后加载其他图像，在python中，从该链接下载所有图像的最佳方式是什么，包括在向下滚动页面时加载的图像？你能给我举个例子吗？

你可能需要在页面中运行Java脚本。这个链接可能会有帮助：如果页面使用JavaScript，那么您可能需要使用

Selenium

来控制可以运行JavaScript的web浏览器。或者使用Chrome/Firefox中的DevTool，您可以尝试查找JavaScript用于加载新数据的url，然后您可以尝试使用此url在不使用Selenium的情况下获取新数据。它应该更有效，因为它不需要运行web浏览器并等待加载新数据。我只是找到了一个小快捷方式，在检查google chrome上的“网络”选项卡后，我注意到每次我向下滚动页面时，都会加载一个与此表单相关的链接。所以我只需要从这个url获取所有图像，然后增加偏移量并再次下载新图像