Twitter 用于超过一周的推文的Python推文爬虫?
作为一种学术用法,我想分析大约三个月的推特。然而,该网站似乎没有提供超过一周的推文 我试着写一个自爬虫,但是,给定一个搜索关键字,Twitter页面将不会显示超过一周的推文 有什么窍门可以让我得到更老的推特吗?或者,我的最佳选择是每周点击一次API,并在接下来的三个月内继续这样做?来自Twitter,关于限制:Twitter 用于超过一周的推文的Python推文爬虫?,twitter,web-crawler,Twitter,Web Crawler,作为一种学术用法,我想分析大约三个月的推特。然而,该网站似乎没有提供超过一周的推文 我试着写一个自爬虫,但是,给定一个搜索关键字,Twitter页面将不会显示超过一周的推文 有什么窍门可以让我得到更老的推特吗?或者,我的最佳选择是每周点击一次API,并在接下来的三个月内继续这样做?来自Twitter,关于限制: - The Search API is not complete index of all Tweets, but instead an index of recent Tweets.
- The Search API is not complete index of all Tweets, but instead an index of recent Tweets.
- At the moment that index includes between 6-9 days of Tweets.
- You cannot use the Search API to find Tweets older than about a week.
因此,是的,如果您需要收集一定的时间跨度,它将需要多个查询,正如您所建议的那样
(您还应该阅读以下答案:)
目前还有两家商业公司可以访问Twitter firehose并提供这些数据(他们被称为“授权再联合者”):
- -提供30天的推特数据
- -最多两年的推特数据