Google apps script 通过应用程序脚本的大查询API-我在一个较大的表上遇到一个错误,但在较小的表上工作。通过应用程序脚本是否有大小限制?

Google apps script 通过应用程序脚本的大查询API-我在一个较大的表上遇到一个错误,但在较小的表上工作。通过应用程序脚本是否有大小限制?,google-apps-script,google-bigquery,quota,Google Apps Script,Google Bigquery,Quota,我正在使用应用程序脚本向BigQuery发送查询 我有一个项目id——“bigquerytest-28272”,一个名为“testDataSet”的数据集和两个表(smallTable和bigTable) 两个表具有相同的模式。表1只有6行,表2有600000行 当我使用请求查询表1(小表)时: var request = { query: 'SELECT * ' + 'FROM bigquerytest-282720.testDataSet.smallTable ' + 'WHERE

我正在使用应用程序脚本向BigQuery发送查询

我有一个项目id——“bigquerytest-28272”,一个名为“testDataSet”的数据集和两个表(smallTable和bigTable)

两个表具有相同的模式。表1只有6行,表2有600000行

当我使用请求查询表1(小表)时:

var request = {
query: 'SELECT * ' +
  'FROM bigquerytest-282720.testDataSet.smallTable ' +
  'WHERE Member = "North"',
useLegacySql: false
}
它成功地返回记录

但是当我查询表2(大表)时

它与消息一起失败

GoogleJsonResponseException:API调用bigquery.jobs.getQueryResults失败,错误:未找到:作业bigquerytest-28272:Job_6JTUvDCP7aWSJQT4FfGZLJFqwzqm(第35行,文件“代码”)

我可以从控制台中成功查询表2,因此它似乎是一个应用程序脚本限制。当我在控制台中查询表2时,它说已经处理了74.3MB,所以在从应用程序脚本查询时,可能存在表大小限制

有什么见解吗

谢谢


编辑:我现在尝试了300000、100000和50000行的表。它在50000台上工作。所以很明显,在应用程序脚本中有一个限制。这个限额是固定的还是我可以在别的地方多付钱?我目前没有支付任何与BigQuery相关的费用,但如果我这样做,它会解决问题吗?

Urlfetch响应大小有一个限制。这同样适用于高级Google服务或其他请求外部数据的内置服务。

Urlfetch响应大小有一个限制。这同样适用于高级谷歌服务或其他请求外部数据的内置服务。

ahhhhh-我已经解决了!我在google drive的bigQuery中创建表。事实证明,它实际上并没有在bigQuery中创建表,它只是链接到google drive中的csv文件。工作的50000行表,我实际上是从本地机器上传的,所以这实际上是在bigQuery中创建的。所以我已经注册了免费试用,并从谷歌云存储上传,然后在bigQuery中创建了一个大表,现在我可以从应用程序脚本中成功地查询。必须限制可作为外部数据源查询的文件的大小。当我以前尝试使用应用程序脚本将数据上传到bigQuery,并在google drive中查找文件时,它给出了50mb的错误限制,因此我猜通过bigQuery从google drive进行查询时也是如此。

啊哈哈哈哈哈-我已经解决了这个问题!我在google drive的bigQuery中创建表。事实证明,它实际上并没有在bigQuery中创建表,它只是链接到google drive中的csv文件。工作的50000行表,我实际上是从本地机器上传的,所以这实际上是在bigQuery中创建的。所以我已经注册了免费试用,并从谷歌云存储上传,然后在bigQuery中创建了一个大表,现在我可以从应用程序脚本中成功地查询。必须限制可作为外部数据源查询的文件的大小。当我以前尝试使用应用程序脚本将数据上传到bigQuery,并在google drive中查找文件时,它给出了50mb的错误限制,因此我猜通过bigQuery从google drive进行查询也是如此。

谢谢您的消息。看这里,大查询的阈值要大得多,尽管可能应用程序脚本会像您所说的那样施加自身的限制。有一种方法可以去除“大”这个词,如果它这样做的话:/MRPEA应用程序脚本没有“大”一词。考虑在问题跟踪器中创建bug报告或特征请求。有关更多详细信息,请参阅。。。但是如果不能利用API的“大”潜力,那么访问API就有点毫无意义,嘿嘿-需要另一个解决方案…@MrPea 1。收到数据后,您将在哪里使用这个“大”文件?2.big-q支持可恢复下载吗?我的想法是在应用程序脚本web应用程序中使用。我认为它确实支持可恢复下载。有趣的是,在大查询沙箱模式下有一些公共数据集,比我的600000行大得多,它们可以很好地查询到应用程序脚本中。所以现在我想知道这是否是对大查询的自由层的限制。我可以用信用卡冒险进去看看会发生什么谢谢你的留言。看这里,大查询的阈值要大得多,尽管可能应用程序脚本会像您所说的那样施加自身的限制。有一种方法可以去除“大”这个词,如果它这样做的话:/MRPEA应用程序脚本没有“大”一词。考虑在问题跟踪器中创建bug报告或特征请求。有关更多详细信息,请参阅。。。但是如果不能利用API的“大”潜力,那么访问API就有点毫无意义,嘿嘿-需要另一个解决方案…@MrPea 1。收到数据后,您将在哪里使用这个“大”文件?2.big-q支持可恢复下载吗?我的想法是在应用程序脚本web应用程序中使用。我认为它确实支持可恢复下载。有趣的是,在大查询沙箱模式下有一些公共数据集,比我的600000行大得多,它们可以很好地查询到应用程序脚本中。所以现在我想知道这是否是对大查询的自由层的限制。我可以用信用卡冒险进去看看会发生什么
var request = {
query: 'SELECT * ' +
  'FROM bigquerytest-282720.testDataSet.bigTable ' +
  'WHERE Member = "North"',
useLegacySql: false
}