Python 如果我想将tweet流式传输到BigQuery中,哪种方法是最好的?

Python 如果我想将tweet流式传输到BigQuery中,哪种方法是最好的?,python,twitter,google-cloud-platform,stream,google-bigquery,Python,Twitter,Google Cloud Platform,Stream,Google Bigquery,我想做一些推特分析,并向客户显示实时结果。第一步是将tweet流到BigQuery中。我找到了一些方法,云发布/订阅,应用程序引擎,计算引擎等。如何选择?有更好的方法吗?我想: 将推特推到发布/订阅中。将其编码为完整[{行:'}] 单击Pub/Sub按钮“stream to BigQuery”(确保有一个包含名为“row”的列的现有表) 将BigQuery中的“”解析为一个完整的表 取决于您的触发器和处理持续时间(或一次执行中要传输的tweet数量)。你能在你的过程中添加更多的细节吗?考虑PU

我想做一些推特分析,并向客户显示实时结果。第一步是将tweet流到BigQuery中。我找到了一些方法,云发布/订阅,应用程序引擎,计算引擎等。如何选择?有更好的方法吗?

我想:

  • 将推特推到发布/订阅中。将其编码为完整[{行:'}]
  • 单击Pub/Sub按钮“stream to BigQuery”(确保有一个包含名为“row”的列的现有表)
  • 将BigQuery中的“”解析为一个完整的表

取决于您的触发器和处理持续时间(或一次执行中要传输的tweet数量)。你能在你的过程中添加更多的细节吗?考虑PUB/SUB-DATAFOLL> BigQual.@纪尧姆BLUGIIER:触发器是用户的关键字,这意味着如果使用输入一个关键字,我将发送与该关键字相关的推特S和每个推特的情感分析。在培训期间,推特的数量可能是一千万或一亿。在互动时间,我希望系统能够收集到最后一天的推文,但我还没有想到有多少推文更好。我的音量问题是为了找到最佳解决方案。在这个解决方案中,您有一个始终运行的数据流,它将pubsub数据流传输到bigquery中。因此,您始终至少有1个虚拟机启动。但是,如果流程稀疏,可以考虑在同一PUBSUB事件上触发云函数,并以编程方式将流写入BigQuess。第二个优点是,您可以在流式传输之前对tweet进行预处理。因此,您可以保存BigQuery(后期)处理。为正确的工作和正确的音量使用正确的工具!