Python 随着时间的推移,对视图进行抓取和绘图
背景:我在Django混日子 我有一个可以工作的webscraper,它可以从youtube视频中获取链接、标题和浏览次数,并将这些信息添加到sqlite数据库中。我希望能够做到的是,每小时运行一次,并且能够显示一段时间内的视图图。现在我的数据库中只有一个表,这对于一个视频来说可能很好,但我假设如果我想跟踪多个视频,我需要一个不同的模型 我对如何实现这种规模的最佳猜测是,为我想要监控的视频创建一个表,然后在另一个表中记录每个抓拍事件的视频id、日期时间和视图。但是,如果我抓取了一堆视频数据,那么每批数据的存储日期和时间基本相同(只要每批不到一个小时) 如果您能为我指出以下问题的正确方向,我将不胜感激: 两表数据模型是否正确/可扩展? 用数据做随时间变化的数学/图形的简单方法?Python 随着时间的推移,对视图进行抓取和绘图,python,sql,django,sqlite,web-scraping,Python,Sql,Django,Sqlite,Web Scraping,背景:我在Django混日子 我有一个可以工作的webscraper,它可以从youtube视频中获取链接、标题和浏览次数,并将这些信息添加到sqlite数据库中。我希望能够做到的是,每小时运行一次,并且能够显示一段时间内的视图图。现在我的数据库中只有一个表,这对于一个视频来说可能很好,但我假设如果我想跟踪多个视频,我需要一个不同的模型 我对如何实现这种规模的最佳猜测是,为我想要监控的视频创建一个表,然后在另一个表中记录每个抓拍事件的视频id、日期时间和视图。但是,如果我抓取了一堆视频数据,那么
触发刮板式发条装置的最佳实践?将主要数据存储在字典中可能是第一个开始。这样,您可以将videoID链接到视图,以便快速访问。当然,使用videoID可以触发任何数据库中的唯一字段。 如果您想这样做,您可能还想看看python的pickle模块。 了解如何在词典中使用此概念的第一个想法: 关于如何使用以及何时使用,有一个很好的概述:
希望这将帮助你,因为你要求一个个人提示 将主要数据存储在字典中可能是第一个开始。这样,您可以将videoID链接到视图,以便快速访问。当然,使用videoID可以触发任何数据库中的唯一字段。 如果您想这样做,您可能还想看看python的pickle模块。 了解如何在词典中使用此概念的第一个想法: 关于如何使用以及何时使用,有一个很好的概述:
希望这将帮助你,因为你要求一个个人提示 谢谢,我还没有遇到过pickle,我想我能让它为我工作,至少这将是另一次很好的学习经历谢谢,我还没有遇到pickle,我想我能让它为我工作,至少这将是另一次很好的学习经历