Google cloud platform Google Bigquery是否适合从物联网设备插入数据?

Google cloud platform Google Bigquery是否适合从物联网设备插入数据?,google-cloud-platform,google-bigquery,google-cloud-sql,Google Cloud Platform,Google Bigquery,Google Cloud Sql,我在一家初创公司工作,我们将在那里销售某种物联网设备。这些设备将连接到我们托管在谷歌云中的服务器,并将每隔1秒发送数据,我的服务器将数据作为时间序列存储在数据库中。假设我们连接了1000台设备,所有设备都在每秒发送数据,是否适合使用google bigquery每秒将每个设备的数据插入表中,并将其对应表中的数据发送给设备所有者 由于我的数据是以时间序列的形式存在的,因此我考虑为每个用户(我的设备的所有者)使用分区表,但根据官方文档中列出的限制和配额,我担心每秒插入的大量数据会达到限制(更不用说,

我在一家初创公司工作,我们将在那里销售某种物联网设备。这些设备将连接到我们托管在谷歌云中的服务器,并将每隔1秒发送数据,我的服务器将数据作为时间序列存储在数据库中。假设我们连接了1000台设备,所有设备都在每秒发送数据,是否适合使用google bigquery每秒将每个设备的数据插入表中,并将其对应表中的数据发送给设备所有者

由于我的数据是以时间序列的形式存在的,因此我考虑为每个用户(我的设备的所有者)使用分区表,但根据官方文档中列出的限制和配额,我担心每秒插入的大量数据会达到限制(更不用说,我将根据手机应用程序上的用户需求查询数据)

如果它不适合,什么适合我的用例

编辑:我主要关心的是每秒的大量插入,这可能会超过BigQuery限制,或者可能会导致速度减慢,因为它主要用于数据仓库。BigTable对我们来说似乎很昂贵,CloudSQL似乎是一条可行之路,但我们担心一旦表被填满,查询时间就会变慢,因为我每天为每个用户插入86400行

谢谢。

您应该签出-完全管理的服务,以便轻松安全地连接、管理和接收来自全球分散设备的数据

云物联网核心捕获的设备数据发布到云发布/订阅,用于下游分析。您可以使用Google BigQuery进行即席分析,轻松运行高级分析并使用云机器学习引擎应用机器学习,或者在Google data Studio中使用丰富的报告和仪表盘可视化物联网数据结果


另请检查

谢谢您的建议,但我知道,我主要担心的是每秒插入的大量内容可能会超过BigQuery限制,或者可能会导致速度减慢,因为它主要用于数据仓库。BigTable对我们来说似乎很昂贵,而CloudSQL似乎是一条可行之路,但我们担心一旦表被填满,查询时间就会变慢,因为我每天为每个用户插入86400行。通过IoT核心,扩展到Pub/Sub,然后使用数据流从Pub/Sub推送到BigQuery意味着每秒处理插入的可伸缩性非常高。数据流还可以批量插入到BQ中,以帮助处理您可能遇到的任何潜在配额。