Java 收集大量推文的最佳方式?

Java 收集大量推文的最佳方式?,java,twitter,tweets,Java,Twitter,Tweets,因此,我目前正在尝试收集特定位置的推文,然后从收集的推文中分析该位置的情况。我的任务基本上涉及很多数据挖掘 然而,我遇到的主要问题是收集足够多的推文,让我做出判断 我一直在使用推特流API,但是这只提供了所有推特的1%,这远远不够。我搜集了10万条推特,很少有英文推特,更不用说与我要找的地点有关 我还注意到,twitter的速率限制了您通过其API调用方法的频率。像trendsmap.com这样的网站是如何运作的?他们是否以某种方式访问了更大的数据集 编辑:好的,所以我尝试在twiiter4j

因此,我目前正在尝试收集特定位置的推文,然后从收集的推文中分析该位置的情况。我的任务基本上涉及很多数据挖掘

然而,我遇到的主要问题是收集足够多的推文,让我做出判断

我一直在使用推特流API,但是这只提供了所有推特的1%,这远远不够。我搜集了10万条推特,很少有英文推特,更不用说与我要找的地点有关

我还注意到,twitter的速率限制了您通过其API调用方法的频率。像trendsmap.com这样的网站是如何运作的?他们是否以某种方式访问了更大的数据集

编辑:好的,所以我尝试在twiiter4j API中使用地理定位功能。事实证明,如果您对实现非常小心,就可以避免速率限制。然而,当推特非常少时,实际启用地理定位功能的人数。因此,这并不代表该地区的人民。我似乎每次都收到同样的推特。Twitter确实提供了一个搜索运营商“near”,这在他们的网站上非常有效。然而,据我所知,他们还没有在API中包含此功能

如果您是,您可以使用
geocode
选项将搜索限制在特定的地理位置

您可以使用
result\u type=recent
确保您只收到最近的推文

最大
计数
——即每个请求的tweet数——为100

目前的人数限制是450人

那么,每小时最多有45000条tweet——这对你来说够了吗


tl:dr-使用最严格的搜索参数集将结果限制在您实际需要的范围内。

谢谢您的回复。我试过你说的话,但每次似乎只收到少量的推特。这很可能是因为我搜索的地区的大多数人没有打开他们的地理位置。这是出于设计。如果人们想把他们的位置保密,你是找不到的。我会自己去搜的,希望我能用附近的搜索运营商来收集推特。