php中的图片爬虫

php中的图片爬虫,php,web-crawler,Php,Web Crawler,问题是如何获取ajax调用源代码?这不是爬网,例如,如何在这样的链接上爬网图片 如果你检查元素,那么它将在图片的中间显示正确的代码。但是怎么爬呢?如果单击下一页,则源中会有其他图像。如何获取所有图像的源代码?如果我正确理解了您的问题,那么如何通过ajax调用对加载到页面中的信息进行爬网?答案是,您要么需要某种支持javascript的爬网程序,要么需要检查javascript,以确定轮询哪些资源来加载您感兴趣的内容。从PHP中,您应该能够向这些URL发送curl-get请求,并接收与站点java

问题是如何获取ajax调用源代码?这不是爬网,例如,如何在这样的链接上爬网图片


如果你检查元素,那么它将在图片的中间显示正确的代码。但是怎么爬呢?如果单击下一页,则源中会有其他图像。如何获取所有图像的源代码?

如果我正确理解了您的问题,那么如何通过ajax调用对加载到页面中的信息进行爬网?答案是,您要么需要某种支持javascript的爬网程序,要么需要检查javascript,以确定轮询哪些资源来加载您感兴趣的内容。从PHP中,您应该能够向这些URL发送curl-get请求,并接收与站点javascript用于呈现条目相同的响应

后一个选项有一些好处,即您很可能能够获得对请求的简单、易于使用的JSON响应

与大多数网络抓取工作一样,一些内容提供商往往不会欣赏您对其数据的兴趣,特别是如果您以对其系统或资源造成过度压力的方式收集数据。记住,如果他们注意到/介意,他们会采取技术或法律措施阻止你

增编: 如果你希望抓取各种类似的站点,而不需要通过源代码查找它们正在使用的资源,那么为了论证,让我们假设你只是试图天真地从几个销售相同种类商品的站点上抓取一定大小的所有图像,您需要前一个选项,某种javascript感知刮刀。我不知道这样的事情是否存在,但我不会感到惊讶