如何用Python将内存中的一个小JSON对象上传到Google BigQuery?

如何用Python将内存中的一个小JSON对象上传到Google BigQuery?,python,json,google-bigquery,Python,Json,Google Bigquery,有没有办法从内存中获取一个小数据JSON对象并将其上传到Google BigQuery而不使用文件系统 我们有将文件上传到BigQuery的工作代码。这段代码不再适用于我们,因为我们的新脚本运行在Google App Engine上,而Google App Engine没有对文件系统的写访问权限 我们注意到我们的BigQuery上传配置有一个带有数据路径的“MediaFileUpload”选项。我们一直无法找到是否有办法将数据路径更改为内存中的某个内容,或者除了MediaFileUpload之外

有没有办法从内存中获取一个小数据JSON对象并将其上传到Google BigQuery而不使用文件系统

我们有将文件上传到BigQuery的工作代码。这段代码不再适用于我们,因为我们的新脚本运行在Google App Engine上,而Google App Engine没有对文件系统的写访问权限

我们注意到我们的BigQuery上传配置有一个带有数据路径的“MediaFileUpload”选项。我们一直无法找到是否有办法将数据路径更改为内存中的某个内容,或者除了MediaFileUpload之外,是否还有其他方法可以将数据从内存上传到BigQuery

 media_body=MediaFileUpload(
            data_path,
            mimetype='application/octet-stream'))
 job = insert_request.execute()
我们已经看到一些解决方案,建议将数据上传到谷歌云存储,然后在数据集较大时引用该文件上传到BigQuery。我们的数据集很小,所以这一步似乎是对带宽、处理和时间的不必要的使用


因此,我们想知道是否有一种方法可以使用Python将我们的小JSON对象直接上传到BigQuery?

您可以使用JSON负载向API端点(例如)发出POST请求吗?@ElliottBrossard这看起来很有希望。我们会尝试一下。如果你想出了一些有用的方法,考虑把它作为一个答案来帮助将来的人有同样的问题。谢谢