有没有任何方法可以加速使用tweepy下载推文的python代码?

有没有任何方法可以加速使用tweepy下载推文的python代码?,python,python-3.x,twitter,tweepy,Python,Python 3.x,Twitter,Tweepy,以下是我使用的代码。对于每个用户请求,下载所有推文需要花费太长的时间。有哪些方法可以加快执行时间。想法是在用户访问网站时实时使用推文分析。我是python新手,因此非常感谢您的帮助 import tweepy #https://github.com/tweepy/tweepy #Twitter API credentials consumer_key = ".." consumer_secret = ".." access_key = ".." access_secret = ".."

以下是我使用的代码。对于每个用户请求,下载所有推文需要花费太长的时间。有哪些方法可以加快执行时间。想法是在用户访问网站时实时使用推文分析。我是python新手,因此非常感谢您的帮助

import tweepy #https://github.com/tweepy/tweepy


#Twitter API credentials
consumer_key = ".."
consumer_secret = ".."
access_key = ".."
access_secret = ".."


def get_all_tweets(screen_name):
    #Twitter only allows access to a users most recent 3240 tweets with this method

    #authorize twitter, initialize tweepy
    auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_key, access_secret)
    api = tweepy.API(auth)

    #initialize a list to hold all the tweepy Tweets
    alltweets = []  

    #make initial request for most recent tweets (200 is the maximum allowed count)
    new_tweets = api.user_timeline(screen_name = screen_name,count=200)

    #save most recent tweets
    alltweets.extend(new_tweets)

    #save the id of the oldest tweet less one
    oldest = alltweets[-1].id - 1

    #keep grabbing tweets until there are no tweets left to grab
    while len(new_tweets) > 0:
        print ("getting tweets before %s".format(oldest))

        #all subsiquent requests use the max_id param to prevent duplicates
        new_tweets = api.user_timeline(screen_name = screen_name,count=200,max_id=oldest)

        #save most recent tweets
        alltweets.extend(new_tweets)

        #update the id of the oldest tweet less one
        oldest = alltweets[-1].id - 1

        print ("...%s tweets downloaded so far".format(len(alltweets)))

    #transform the tweepy tweets into a 2D array that will populate the csv 
    outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8")] for tweet in alltweets]
    return outtweets

使解决方案更快的一种方法是创建一些缓存

下载了一个屏幕名称的所有tweet后,将其保存在本地,例如[twitter\u screen\u name].json

然后编辑函数以检查缓存文件。如果它不存在,请将其创建为空。然后加载它,只刷新需要的内容,并保存回json缓存文件

这样,当用户访问时,您将只下载与twitter的差异。对于经常查阅的屏幕名称,这将快得多


然后,您可以添加一些自动清除缓存的功能—例如,一个简单的CRON,用于删除上次访问的元数据早于n天的文件。

使解决方案更快的一种方法是创建一些缓存

下载了一个屏幕名称的所有tweet后,将其保存在本地,例如[twitter\u screen\u name].json

然后编辑函数以检查缓存文件。如果它不存在,请将其创建为空。然后加载它,只刷新需要的内容,并保存回json缓存文件

这样,当用户访问时,您将只下载与twitter的差异。对于经常查阅的屏幕名称,这将快得多

然后,您可以添加一些自动清除缓存的内容—例如,一个简单的CRON,用于删除上次访问的元数据早于n天的文件