R:自动刮削&;在云上存储Twitter数据

R:自动刮削&;在云上存储Twitter数据,r,twitter,shiny,scheduled-tasks,rtweet,R,Twitter,Shiny,Scheduled Tasks,Rtweet,我是一名R用户,正在从事一个项目,该项目涉及从Twitter数据中获取见解(更具体地说,使用rtweet包抓取Twitter数据,并对这些数据进行一系列分析)。此外,我还基于这些数据构建了一个闪亮的应用程序,用于可视化目的 我需要进一步输入的地方 今天,我搜集的Twitter数据存储在我的笔记本电脑上。但是我想用不同的方式来做。理想情况下,我希望能够实现以下目标- 1) 这些数据是使用rtweet软件包从Twitter上抓取的,并直接存储在云平台上(例如,AWS或Microsoft Azure)

我是一名R用户,正在从事一个项目,该项目涉及从Twitter数据中获取见解(更具体地说,使用
rtweet
包抓取Twitter数据,并对这些数据进行一系列分析)。此外,我还基于这些数据构建了一个闪亮的应用程序,用于可视化目的

我需要进一步输入的地方

今天,我搜集的Twitter数据存储在我的笔记本电脑上。但是我想用不同的方式来做。理想情况下,我希望能够实现以下目标-

1) 这些数据是使用
rtweet
软件包从Twitter上抓取的,并直接存储在云平台上(例如,AWS或Microsoft Azure)

2) 我想为这个刮削过程定义一个周期(例如:每两天一次)。我想通过一些调度工具来实现这一点

3) 最后,我希望我的Shiny应用程序(托管在shinyapps.io上)能够与这个云平台通信,并检索存储在其中的tweet进行分析

我在互联网上搜索了解决方案,但还没有找到任何直接的方法

如果有人有这样做的经验,我们将非常感谢您的意见。

您在AWS创建了帐户。 然后创建s3 bucket 在虚拟服务器或来自hwrre的计算机上,如果要进行复制,请安装aws cli(用于与aws Resources交互的客户端)

然后,运行copy命令,文件将被复制到云


同样,您使用cli检索文件

您尝试了什么?你的问题几乎是“你能帮我做我的项目吗?”。请试着把你的帖子一次减少到一个问题,并给出一个清晰正确的答案,举例说明你是如何尝试的,如果你失败了,不要感到羞愧。我们在这里都是失败者。我只是想根据你的经验,得到关于最佳方向的建议。我还没有尝试在云平台上存储我的数据,对此我比较陌生。所以你的第一个问题是“我如何将数据从R存储到云服务器?”如果你能指定云提供商,那就更好了。那个Q可能已经有了答案,或者一个R包。一个选择是在AWS中创建一个账户,你需要一张信用卡。然后,阅读如何在AWS上运行RStudio服务器。对于抓取推文,您可以使用
rtweet
软件包中的
search\u tweets
stream\u tweets
。不需要调度工具,您可以将这些函数中的任何一个嵌入到for循环中,并使用de
Sys.sleep
函数指定在下一次迭代完成之前要等待的时间。然后保存检索到的数据。我还没有将AWS中存储的数据与闪亮的应用程序连接。当你说保存数据时,你的意思是在AWS RStudio服务器环境中将其另存为对象?