Python Icrawler只工作1次,然后它就不工作了';行不通
我在谷歌寻找图像爬虫。 然后我找到了Icrawler。 所以我只是跟着博士学习如何使用Icrawler图书馆 我的代码如下Python Icrawler只工作1次,然后它就不工作了';行不通,python,web-crawler,Python,Web Crawler,我在谷歌寻找图像爬虫。 然后我找到了Icrawler。 所以我只是跟着博士学习如何使用Icrawler图书馆 我的代码如下 from icrawler.builtin import GoogleImageCrawler import os save_dir = os.path.join('..', '..', 'images') google_crawler = GoogleImageCrawler(storage={'root_dir':save_dir}) google_crawler
from icrawler.builtin import GoogleImageCrawler
import os
save_dir = os.path.join('..', '..', 'images')
google_crawler = GoogleImageCrawler(storage={'root_dir':save_dir})
google_crawler.crawl(keyword='cat', max_num=50)
它只工作一次,然后就不工作了。
我什么都没变
这个代码显示如下
from icrawler.builtin import GoogleImageCrawler
import os
save_dir = os.path.join('..', '..', 'images')
google_crawler = GoogleImageCrawler(storage={'root_dir':save_dir})
google_crawler.crawl(keyword='cat', max_num=50)
2020-03-17 22:25:38151-信息-icrawler.crawler-开始爬网。。。
2020-03-17 22:25:38151-INFO-icrawler.crawler-starting 1给料机
线程。。。2020-03-17 22:25:38162-信息-icrawler.crawler-
正在启动1个解析器线程。。。2020-03-17 22:25:38162-信息-馈线-
螺纹给料机-001出口2020-03-17 22:25:38162-信息-
icrawler.crawler-正在启动1个下载线程。。。2020-03-17
22:25:38901-INFO-parser-parsing结果页
2020-03-17 22:25:41003-信息-解析器-线程不再有页面URL
parser-001解析2020-03-17 22:25:41003-INFO-parser-thread
parser-001退出2020-03-17 22:25:43163-信息-下载程序-不再
线程下载程序的下载任务-0012020-03-1722:25:43163-
信息-下载器-线程下载器-001出口2020-03-17
22:25:43212-INFO-icrawler.crawler-爬虫任务完成
有什么问题吗?还是我做得不对?[
我找到了解决这个问题的方法!
有解决办法