Python 自动从谷歌云中的网站导入数据

Python 自动从谷歌云中的网站导入数据,python,google-cloud-platform,google-bigquery,Python,Google Cloud Platform,Google Bigquery,我正在尝试使用以下链接自动更新大型查询表: 这个链接每周都会用新数据更新,我希望能够用这个新数据替换大查询表。我已经研究过可以将电子表格导出到大查询,但这不是一种简化的方法 我如何提交一个导入数据的脚本,并将该数据提供给Big Query?您可以尝试使用诸如Python之类的编程语言,将数据保存到Dataframe或CSV文件中,然后使用,您可以将数据推送到BigQuery表中。我假设您已经有了一个工作脚本,可以解析URL的内容并将内容放在BigQuery中。基于此,我建议采用以下工作流程:

我正在尝试使用以下链接自动更新大型查询表:

这个链接每周都会用新数据更新,我希望能够用这个新数据替换大查询表。我已经研究过可以将电子表格导出到大查询,但这不是一种简化的方法


我如何提交一个导入数据的脚本,并将该数据提供给Big Query?

您可以尝试使用诸如Python之类的编程语言,将数据保存到Dataframe或CSV文件中,然后使用,您可以将数据推送到BigQuery表中。

我假设您已经有了一个工作脚本,可以解析URL的内容并将内容放在BigQuery中。基于此,我建议采用以下工作流程:

  • 将脚本作为一个文件上载。如果您的脚本不是用兼容的语言编写的(例如Python、Node、Go),您可以使用。将云功能设置为由发布/订阅消息触发。在这种情况下,发布/订阅消息的内容并不重要
  • 设置一个作业:(a)每周六上午12点(或您希望的任何时间)运行;(b)向您的云功能订阅的发布/订阅主题发送一条虚拟消息
我可以访问此链接…此链接包含哪些内容。。。对不起,我的意思是…我无法访问。。。。是json数据吗?@GiovaniSalazar它包含一个txt文件,我只是想让脚本每周从该链接中提取数据并自动上传到谷歌云。可以在您的问题中添加您的数据…@GiovaniSalazar数据是链接是的,我知道。我问的是如何使用链接作为每周自动更新表的一种方式。无论是python还是任何其他进程,我都不在乎。我只想拥有一个简化的流程,但我不知道如何创建它。根据您提到的没有简化的流程,另一个选项是在[Cloud Shell]中安排一个cURL命令,将数据保存到[Google Cloud Storage bucket],然后是[BigQuery Load Job][将该数据加载到您的表中。您能否更新您的答案并向我展示其外观?请回答此问题,因为我需要进一步的帮助。如果您这样做,我将奖励奖金。请回答此问题,因为我需要进一步的帮助。如果您这样做,我将奖励奖金。