Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/sql/69.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 随着时间的推移,对视图进行抓取和绘图_Python_Sql_Django_Sqlite_Web Scraping - Fatal编程技术网

Python 随着时间的推移,对视图进行抓取和绘图

Python 随着时间的推移,对视图进行抓取和绘图,python,sql,django,sqlite,web-scraping,Python,Sql,Django,Sqlite,Web Scraping,背景:我在Django混日子 我有一个可以工作的webscraper,它可以从youtube视频中获取链接、标题和浏览次数,并将这些信息添加到sqlite数据库中。我希望能够做到的是,每小时运行一次,并且能够显示一段时间内的视图图。现在我的数据库中只有一个表,这对于一个视频来说可能很好,但我假设如果我想跟踪多个视频,我需要一个不同的模型 我对如何实现这种规模的最佳猜测是,为我想要监控的视频创建一个表,然后在另一个表中记录每个抓拍事件的视频id、日期时间和视图。但是,如果我抓取了一堆视频数据,那么

背景:我在Django混日子

我有一个可以工作的webscraper,它可以从youtube视频中获取链接、标题和浏览次数,并将这些信息添加到sqlite数据库中。我希望能够做到的是,每小时运行一次,并且能够显示一段时间内的视图图。现在我的数据库中只有一个表,这对于一个视频来说可能很好,但我假设如果我想跟踪多个视频,我需要一个不同的模型

我对如何实现这种规模的最佳猜测是,为我想要监控的视频创建一个表,然后在另一个表中记录每个抓拍事件的视频id、日期时间和视图。但是,如果我抓取了一堆视频数据,那么每批数据的存储日期和时间基本相同(只要每批不到一个小时)

如果您能为我指出以下问题的正确方向,我将不胜感激:

两表数据模型是否正确/可扩展? 用数据做随时间变化的数学/图形的简单方法?
触发刮板式发条装置的最佳实践?

将主要数据存储在字典中可能是第一个开始。这样,您可以将videoID链接到视图,以便快速访问。当然,使用videoID可以触发任何数据库中的唯一字段。 如果您想这样做,您可能还想看看python的pickle模块。 了解如何在词典中使用此概念的第一个想法: 关于如何使用以及何时使用,有一个很好的概述:


希望这将帮助你,因为你要求一个个人提示

将主要数据存储在字典中可能是第一个开始。这样,您可以将videoID链接到视图,以便快速访问。当然,使用videoID可以触发任何数据库中的唯一字段。 如果您想这样做,您可能还想看看python的pickle模块。 了解如何在词典中使用此概念的第一个想法: 关于如何使用以及何时使用,有一个很好的概述:


希望这将帮助你,因为你要求一个个人提示

谢谢,我还没有遇到过pickle,我想我能让它为我工作,至少这将是另一次很好的学习经历谢谢,我还没有遇到pickle,我想我能让它为我工作,至少这将是另一次很好的学习经历