Python 在GAE上保存数据：日志与数据存储

我有一个谷歌应用程序引擎应用程序，必须处理大量的数据收集。我每天收集的数据大约有数百万条记录。在我看来，为了能够分析数据，有两种简单的方法来处理这个问题：

1.使用logger API生成应用程序引擎日志，然后尝试将这些日志加载到大型查询中，或者更简单地导出到CSV并使用excel进行分析。 2.将数据保存在app engine数据存储ndb中，然后稍后下载该数据/尝试将其加载到big query。 有没有更好的方法

谢谢

BigQuery有一个新的，他们声称是为大容量实时数据采集而设计的

来自实践的建议：我们目前通过方法1每天记录2000多个事件记录。如上所述。它工作得很好，除非批量上传程序不是每5分钟调用一次，然后我们需要检测到这一点并重新运行导入程序。 此外，我们目前正在迁移到新的流式API，但尚未投入生产，因此我不能说它有多可靠。

BigQuery有一个新的，他们声称是为高容量实时数据采集而设计的

来自实践的建议：我们目前通过方法1每天记录2000多个事件记录。如上所述。它工作得很好，除非批量上传程序不是每5分钟调用一次，然后我们需要检测到这一点并重新运行导入程序。

---

此外，我们目前正在迁移到新的流式API，但尚未投入生产，因此我不能说它有多可靠。

我想我将尝试一下Steaming API。谢谢分享你的个人经历，帮助很大。我想我要尝试一下热气腾腾的API。谢谢分享你的个人经历，帮助很大。