如何使用twythonpython获得超过100条tweet

如何使用twythonpython获得超过100条tweet,python,json,web-scraping,tweets,twython,Python,Json,Web Scraping,Tweets,Twython,我用标签从推特上抓取数据。我下面的代码工作得很好。然而,我希望获得10000条tweet并将它们保存在同一个JSON文件夹中(或者将它们保存在单独的文件夹中,然后合并成一个文件夹)。当我运行代码并打印数据帧的长度时,它只打印100条tweet import json credentials = {} credentials['CONSUMER_KEY'] = '' credentials['CONSUMER_SECRET'] = '' credentials['ACCESS_TOKEN'] =

我用标签从推特上抓取数据。我下面的代码工作得很好。然而,我希望获得10000条tweet并将它们保存在同一个JSON文件夹中(或者将它们保存在单独的文件夹中,然后合并成一个文件夹)。当我运行代码并打印数据帧的长度时,它只打印100条tweet

import json
credentials = {}
credentials['CONSUMER_KEY'] = ''
credentials['CONSUMER_SECRET'] = ''
credentials['ACCESS_TOKEN'] = ''
credentials['ACCESS_SECRET'] = ''

# Save the credentials object to file
with open("twitter_credentials.json", "w") as file:
    json.dump(credentials, file)

# Import the Twython class
from twython import Twython
import json

# Load credentials from json file
with open("twitter_credentials.json", "r") as file:
    creds = json.load(file)

# Instantiate an object
python_tweets = Twython(creds['CONSUMER_KEY'], creds['CONSUMER_SECRET'])

data = python_tweets.search(q='#python', result_type='mixed', count=10000)

with open('tweets_python.json', 'w') as fh:
    json.dump(data, fh)

data1 = pd.DataFrame(data['statuses'])

print("\nSample size:")
print(len(data1))

OUTPUT:
Sample size:
100
我已经看到了一些可以使用max_id的答案。我尝试过编写代码,但这是错误的

max_iters = 50
max_id = ""
for call in range(0,max_iters):
       data = python_tweets.search(q='#python', result_type='mixed', count=10000, 'max_id': max_id)

 File "<ipython-input-69-1063cf5889dc>", line 4
    data = python_tweets.search(q='#python', result_type='mixed', count=10000, 'max_id': max_id)
                                                                                       ^
SyntaxError: invalid syntax
max\u iters=50
max_id=“”
对于呼叫范围(0,最大值):
data=python\u tweets.search(q='#python',result\u type='mixed',count=10000,'max\u id':max\u id)
文件“”,第4行
data=python\u tweets.search(q='#python',result\u type='mixed',count=10000,'max\u id':max\u id)
^
SyntaxError:无效语法
您能告诉我如何将10000条推文保存到一个JSON文件中吗?

从他们的文档中,您可以使用generator获得尽可能多的结果

results = python_tweets.cursor(twitter.search, q='python', result_type='mixed')
with open('tweets_python.json', 'w') as fh:
    for result in results:
        json.dump(result, fh)
另外,若您想使用max_id方法,则应按如下方式传递参数

python_tweets.search(q='#python', result_type='mixed', count=10000, max_id=max_id)
从他们的文档中,您可以使用生成器获得尽可能多的结果

results = python_tweets.cursor(twitter.search, q='python', result_type='mixed')
with open('tweets_python.json', 'w') as fh:
    for result in results:
        json.dump(result, fh)
另外,若您想使用max_id方法,则应按如下方式传递参数

python_tweets.search(q='#python', result_type='mixed', count=10000, max_id=max_id)

我得到错误:TwitterAPI返回了一个429(太多请求),速率超过了限制。您需要捕获该错误并刷新身份验证令牌。Twitter为您提供了在一个令牌上可以执行的有限请求数I get error:Twitter API返回了429(请求太多),超出了速率限制。您需要捕获该错误并刷新身份验证令牌。Twitter为您提供了有限数量的请求,您可以在一个令牌上执行这些请求