Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sql server 使用谷歌云平台被动接收客户端sql数据(客户端推送)的好方法是什么?_Sql Server_Google Cloud Platform_Google Bigquery_Google Cloud Sql - Fatal编程技术网

Sql server 使用谷歌云平台被动接收客户端sql数据(客户端推送)的好方法是什么?

Sql server 使用谷歌云平台被动接收客户端sql数据(客户端推送)的好方法是什么?,sql-server,google-cloud-platform,google-bigquery,google-cloud-sql,Sql Server,Google Cloud Platform,Google Bigquery,Google Cloud Sql,我们的客户不想让我们在他们的SQL数据库中进行任何调用(甚至创建一个副本,等等)。到目前为止,我们认为最好的解决方案是实例化谷歌云SQL server,这样我们可以要求客户每天/每周推送一次其数据(使用服务器的公共IP),然后我们将数据推送到谷歌大查询中 我在网上读了很多话题,我可能的解决方案是让用户每周做一次ETL->CloudSQL->BigQuery。这是一个好方法吗 总而言之,我正在寻找有关最佳/廉价的实践的建议,以及允许用户在GCP中插入数据而不暴露其数据或我的基础设施的可能方法。 我

我们的客户不想让我们在他们的SQL数据库中进行任何调用(甚至创建一个副本,等等)。到目前为止,我们认为最好的解决方案是实例化谷歌云SQL server,这样我们可以要求客户每天/每周推送一次其数据(使用服务器的公共IP),然后我们将数据推送到谷歌大查询中

我在网上读了很多话题,我可能的解决方案是让用户每周做一次ETL->CloudSQL->BigQuery。这是一个好方法吗

总而言之,我正在寻找有关最佳/廉价的实践的建议,以及允许用户在GCP中插入数据而不暴露其数据或我的基础设施的可能方法。 我的云提供商是谷歌云,我的客户端使用SQL Server。 我们对新的或类似的选择持开放态度(甚至其他提供商,如亚马逊和Azure)

限制条件:

客户端将定期发送数据(每天/每周一次) 数据最终应该发送并存储在BigQuery中
在Google中使用云SQL的成本很高,而我们不需要分配的CPU/内存和公共IP(一个月只有几次,例如:一个月4次)

这个问题缺少很多细节,但是:

  • 让客户每周创建一个.csv
  • 将带有新数据的.csv发送到地面军事系统
  • 加载到BigQuery中

您的问题缺乏细节,因此很难做出好的回答。1) 数据库中是否有任何存储在BigQuery中的内容存在导入问题?2) 最简单的方法是根据日期或id查询SQL数据库,处理每一行,然后直接导入到BigQuery(或一个BQ临时表,以便以后合并)。按计划重复。google cloud SQL Server是这方面的实际需求,还是您只是将随机技术用于基本数据复制问题?对您来说,最简单的解决方案就是复制他们的夜间备份并将其恢复到SQL Server中。。。某处。。。。不必是谷歌,也不必是云计算。