Google bigquery BigQuery是否有用于返回导出表校验和的api

Google bigquery BigQuery是否有用于返回导出表校验和的api,google-bigquery,checksum,Google Bigquery,Checksum,我正在寻找是否有一种方法可以获得可以从GoogleBigQuery导出的文件(或表)的校验和 假设我导出(或下载)了一个名为 daily-record-2018-07-10来自bigquery,bigquery有没有办法为我们提供一些校验和(如sha1,md5等),以便我们可以在开始处理这些文件之前预先计算这些校验和 这样做的原因是为了确保在下载(或导出)表时不会丢失任何信息。我们确实会在网络上丢失一些信息,然后我们可以预计算校验和,然后再次尝试导出表。听起来问题可能是关于如何对文件进行校验和,

我正在寻找是否有一种方法可以获得可以从GoogleBigQuery导出的文件(或表)的校验和

假设我导出(或下载)了一个名为
daily-record-2018-07-10
来自bigquery,bigquery有没有办法为我们提供一些
校验和
(如
sha1
md5
等),以便我们可以在开始处理这些文件之前预先计算这些校验和


这样做的原因是为了确保在下载(或导出)表时不会丢失任何信息。我们确实会在网络上丢失一些信息,然后我们可以预计算校验和,然后再次尝试导出表。

听起来问题可能是关于如何对文件进行校验和,我相信这方面有很多资源,但如果要对存储在BigQuery中的表进行校验和,可以使用以下形式的查询:

SELECT BIT_XOR(FARM_FINGERPRINT(TO_JSON_STRING(t)))
FROM MyTable AS t

这会将每一行转换为字符串表示形式,进行哈希运算,然后对结果进行异或运算,以生成整个表的校验和。您也可以在外部表(例如,云存储或驱动器上的文件)上使用此选项.

这也是一个问题,但to_json_string不是一个函数
无法识别的函数to_json_string
您需要在BigQuery中使用标准SQL。这是一个很好的问题1解决了最后一个问题,但如何为我下载的表1生成校验和(在我的linux机器上)。我仍然需要一种方法来比较校验和,以验证下载的数据是否丢失,并验证是否检查文档中的
to_JSON_STRING
FARM_FINGERPRINT
。前者有一个可以在任何编程语言中复制的规范,并且GitHub上有一个FarmHash指纹的开源实现,您可能可以利用它。