Python 自动从谷歌云中的网站导入数据
我正在尝试使用以下链接自动更新大型查询表: 这个链接每周都会用新数据更新,我希望能够用这个新数据替换大查询表。我已经研究过可以将电子表格导出到大查询,但这不是一种简化的方法Python 自动从谷歌云中的网站导入数据,python,google-cloud-platform,google-bigquery,Python,Google Cloud Platform,Google Bigquery,我正在尝试使用以下链接自动更新大型查询表: 这个链接每周都会用新数据更新,我希望能够用这个新数据替换大查询表。我已经研究过可以将电子表格导出到大查询,但这不是一种简化的方法 我如何提交一个导入数据的脚本,并将该数据提供给Big Query?您可以尝试使用诸如Python之类的编程语言,将数据保存到Dataframe或CSV文件中,然后使用,您可以将数据推送到BigQuery表中。我假设您已经有了一个工作脚本,可以解析URL的内容并将内容放在BigQuery中。基于此,我建议采用以下工作流程:
我如何提交一个导入数据的脚本,并将该数据提供给Big Query?您可以尝试使用诸如Python之类的编程语言,将数据保存到Dataframe或CSV文件中,然后使用,您可以将数据推送到BigQuery表中。我假设您已经有了一个工作脚本,可以解析URL的内容并将内容放在BigQuery中。基于此,我建议采用以下工作流程:
- 将脚本作为一个文件上载。如果您的脚本不是用兼容的语言编写的(例如Python、Node、Go),您可以使用。将云功能设置为由发布/订阅消息触发。在这种情况下,发布/订阅消息的内容并不重要
- 设置一个作业:(a)每周六上午12点(或您希望的任何时间)运行;(b)向您的云功能订阅的发布/订阅主题发送一条虚拟消息李>