Python Tweepy Search API停止,没有错误,而前一天仅返回搜索1次

Python Tweepy Search API停止,没有错误,而前一天仅返回搜索1次,python,memory,twitter,tweepy,twitterapi-python,Python,Memory,Twitter,Tweepy,Twitterapi Python,我是Tweepy的新手,通过它的python模块运行它。在搜索hasgtags几个小时后,我似乎超时了,但没有错误消息——它只是将tweet放到我的数据框中。我知道twitter对免费开发者帐户的7天限制,以及通过启用wait\u on\u rate\u limit=True遵守twitter的数据挖掘限制。我的目标是每天在更大的标签上运行此功能,如“elonmusk”,并在过去24小时内获得推文,但Tweepy似乎在收到一定数量的推文后超时(最后一次推文是65k条,在“现在”-4小时的推文后中

我是Tweepy的新手,通过它的python模块运行它。在搜索hasgtags几个小时后,我似乎超时了,但没有错误消息——它只是将tweet放到我的数据框中。我知道twitter对免费开发者帐户的7天限制,以及通过启用
wait\u on\u rate\u limit=True
遵守twitter的数据挖掘限制。我的目标是每天在更大的标签上运行此功能,如“elonmusk”,并在过去24小时内获得推文,但Tweepy似乎在收到一定数量的推文后超时(最后一次推文是65k条,在“现在”-4小时的推文后中断)

我不想使用Tweepy的流媒体工具,因为我没有服务器/DB功能来全天候运行这个工具。我是否可以在这个循环中添加异常测试来找出我被踢出的原因

编辑 同时运行任务管理器时,我注意到我在3000Mhz下使用了7.6GB(68.8MB压缩)和32GB总ram。这是我获得超时的原因吗?

我通过将
count=20
增加到api允许的最大值来“解决”此超时问题:
count=100

这使我可以将挖掘/请求的推文数量增加5倍,并且我可以用更少的时间下载我的日期范围的整个数据集,因此,如果你想要大数字,请确保最大化你的数量

我没有一个确切的答案来回答这个确切的问题是什么,但我的代码似乎可以做一些例外,Tweepy的API的一部分可能是开始的地方

import tweepy
import pandas as pd

consumer_key = 'XXX'
consumer_secret = 'XXX'
access_token = 'XXX'
access_token_secret = 'XXX'

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth,wait_on_rate_limit=True,wait_on_rate_limit_notify=True)

d = []
start_date = pd.to_datetime('2021/2/14')
for tweet in tweepy.Cursor(api.search, q=HashValue,count=20, lang="en", since=StartDate, tweet_mode='extended', show_user=True).items():
    full_noURL_tweet = [remove_url(tweet.full_text)]
    print('Writing tweets to the moooon...')
    d.append((tweet.created_at, full_noURL_tweet))
print('tweets loaded...')

df = pd.DataFrame(d, columns=('date', 'full_tweet'))