Twitter Scraperwiki推特查询
请原谅我,因为我对scraperwiki和twitter挖掘的知识有限 我有以下代码来收集twitter数据。但是,我想编辑代码,只为我提供在特定日期(比如2013年4月1日)对纽约进行地理标记的结果。你知道我该怎么做吗Twitter Scraperwiki推特查询,twitter,scraperwiki,Twitter,Scraperwiki,请原谅我,因为我对scraperwiki和twitter挖掘的知识有限 我有以下代码来收集twitter数据。但是,我想编辑代码,只为我提供在特定日期(比如2013年4月1日)对纽约进行地理标记的结果。你知道我该怎么做吗 ############################################################################### # Twitter srcaper for the term 'hello'. ###################
###############################################################################
# Twitter srcaper for the term 'hello'.
###############################################################################
import scraperwiki
import simplejson
# retrieve a page
base_url = 'http://search.twitter.com/search.json?q='
q = 'hello'
options = '&rpp=10&page='
page = 1
while 1:
try:
url = base_url + q + options + str(page)
html = scraperwiki.scrape(url)
#print html
soup = simplejson.loads(html)
for result in soup['results']:
data = {}
data['id'] = result['id']
data['text'] = result['text']
data['from_user'] = result['from_user']
data['created_at'] = result['created_at']
# save records to the datastore
scraperwiki.datastore.save(["id"], data)
page = page + 1
except:
print str(page) + ' pages scraped'
break
除了
q
,使用查询参数geocode
和直到
。请参阅的本页。请注意,您不能使用搜索API查找早于的推文
此外,使用urllib.urlencode()
构造查询更容易,例如
query_dict = {'q':'search term(s)', 'geocode':'37.781157,-122.398720,25mi', 'until':'2013-05-10'}
query = urllib.urlencode(query_dict)
response = urllib.urlopen(basic_url + query).read()
更新:请确保您可以复制并适应您的需要。非常感谢!我非常感谢你的帮助。如果不是太麻烦的话,我想澄清一件事。我希望能够将这个输出输入到ArcGIS中——使用地理代码坐标。有没有办法用坐标的打印输出来调整这个结果?对于result_json['results']:#print result scraperwiki.sqlite.save(unique_keys=['id'],data=result,table_name=“Tweets”),您可以在将日期放入sqlite表之前添加搜索到的坐标:
result['geocode']=geocode
我已经相应地调整了刮板。非常有用。非常感谢。