Google bigquery 在BigQuery中组合历史数据源和近实时数据源?

Google bigquery 在BigQuery中组合历史数据源和近实时数据源?,google-bigquery,Google Bigquery,我正在尝试使用BigQuery的免费层来教育自己,我的第一个挑战是创建一个股票价格趋势跟踪系统。对于这一点,我会有历史股票市场价格表,涵盖我99%的需求,但最重要的是最后1%,因为这部分将代表实时或接近实时的数据。我们的目标是结合这两个来源,使价格趋势包括最近的数据,并在此基础上创建信号。但是 尽管历史数据部分可以通过定期加载例如.csv文件来覆盖,但近实时数据不能流化,因为这在空闲层是不允许的。除此之外,我总是只需要一行作为当天每个基金猜测收盘价的公平表示。然后我可以每小时左右运行一次 所以我

我正在尝试使用BigQuery的免费层来教育自己,我的第一个挑战是创建一个股票价格趋势跟踪系统。对于这一点,我会有历史股票市场价格表,涵盖我99%的需求,但最重要的是最后1%,因为这部分将代表实时或接近实时的数据。我们的目标是结合这两个来源,使价格趋势包括最近的数据,并在此基础上创建信号。但是

尽管历史数据部分可以通过定期加载例如.csv文件来覆盖,但近实时数据不能流化,因为这在空闲层是不允许的。除此之外,我总是只需要一行作为当天每个基金猜测收盘价的公平表示。然后我可以每小时左右运行一次

所以我的新手问题是,一个人会如何剥这只猫的皮?我假设我不能从查询中调用API来包含最新数据并将其与现有表关联。但是我会定期创建,比如说,10个.csv文件,所有文件都有一行最新的价格数据,上传到表中,然后查询结果吗?这看起来不是一个非常优雅的方式,但它可能是唯一一个

如有任何建议,将不胜感激

只需要一行作为当日每只基金猜测收盘价的公平表示


如果实时数据是一行,那么在查询本身中包含这些数据是非常合理的,比如作为查询参数,甚至作为查询的文字部分(通过适当的转义避免错误和sql注入)。

然后直接查询API,Michael?