Python 2.7 更快的twitter ID流

Python 2.7 更快的twitter ID流,python-2.7,twitter,twython,bigdata,Python 2.7,Twitter,Twython,Bigdata,我的项目是从twitter上下载大量的ID-s。 也就是说,一般用户的追随者数量很少(100-200)。 我使用Twython软件包进行流式传输,以下是我程序的主要部分: while(next_cursor): follower_id=twitter.get_followers_ids(user_id=ids,cursor=next_cursor) time.sleep(60) next_cursor=follower_id['next_cursor'] 这是一个非常简单的cod

我的项目是从twitter上下载大量的ID-s。 也就是说,一般用户的追随者数量很少(100-200)。 我使用Twython软件包进行流式传输,以下是我程序的主要部分:

while(next_cursor):

  follower_id=twitter.get_followers_ids(user_id=ids,cursor=next_cursor)
  time.sleep(60)
  next_cursor=follower_id['next_cursor']
这是一个非常简单的cod,对于大量的ID-s也有效,但速度非常慢,因为函数tw.get\u follower\u ID()-s的速率限制是5000 ID/分钟,这就是为什么代码中有time sleep函数

我的问题是,有没有可能加速这个代码

也许这样程序就不会在每次查询后暂停,只有在它真正需要的时候。
有人能帮忙吗?

Twitter在每个API响应发送的标题中提供速率限制信息。因此,您可以检查它,从而以允许的最大速率调用。您还可以通过特定的rate limit API调用从Twitter请求您的rate limit状态,并且它不会降低要检查的rate limit。我自己不使用Twython,因此我无法建议如何在Twython内使用

这不会给你带来太多额外的收益——也许只有几%

或者,偶尔碰到速率限制也没什么坏处——您会收到一条错误消息。只要不太频繁,推特就不会介意

基本的利率限制速度上限——这是不可能的。也许Gnip有一个付费服务可以让你更快地下载这些数据