Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/280.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Django&;Python,刮页填充数据库_Python_Django_Web Scraping - Fatal编程技术网

Django&;Python,刮页填充数据库

Django&;Python,刮页填充数据库,python,django,web-scraping,Python,Django,Web Scraping,我让django和模特们一起跑。 现在,我想用来自不同网站的信息填充数据库。 我知道,刮来了。我缺少的是知识,是否有任何工具可以使用Django刮取页面,从而与现有数据库/模型兼容 请注意,例如,我希望每5分钟运行一次此刮片任务,因此它不会是一个运行脚本 你能指出我应该使用哪些工具吗?我应该留在Django还是使用外部的东西?你可以在Django项目中使用芹菜,通过芹菜,你可以创建任务来刮取你想要的网站,并在模型中使用它 最难的部分应该是抓取,在模型中插入数据很容易。我想通过参考网页抓取来补充您

我让django和模特们一起跑。 现在,我想用来自不同网站的信息填充数据库。 我知道,刮来了。我缺少的是知识,是否有任何工具可以使用Django刮取页面,从而与现有数据库/模型兼容

请注意,例如,我希望每5分钟运行一次此刮片任务,因此它不会是一个运行脚本


你能指出我应该使用哪些工具吗?我应该留在Django还是使用外部的东西?

你可以在Django项目中使用芹菜,通过芹菜,你可以创建任务来刮取你想要的网站,并在模型中使用它


最难的部分应该是抓取,在模型中插入数据很容易。

我想通过参考网页抓取来补充您的答案:)