Google app engine 是否从Gzip CSV文件将数据上载到数据存储?

Google app engine 是否从Gzip CSV文件将数据上载到数据存储?,google-app-engine,bulkloader,Google App Engine,Bulkloader,我有一个非常大的gzip csv文件(大约500GB),我需要使用批量加载工具将其导入到数据存储中。不需要先解压缩就可以了吗?如果是,我必须如何配置bulkload.yaml文件 transformers: - kind: Client connector: csv connector_options: encoding: zip? 使用命名管道怎么样 mkfifo --mode=0666 /tmp/namedPipe gzip --stdout -d file.

我有一个非常大的gzip csv文件(大约500GB),我需要使用批量加载工具将其导入到数据存储中。不需要先解压缩就可以了吗?如果是,我必须如何配置bulkload.yaml文件

transformers:

- kind: Client
    connector: csv
    connector_options:
      encoding: zip?

使用命名管道怎么样

mkfifo --mode=0666 /tmp/namedPipe
gzip --stdout -d file.gz > /tmp/namedPipe
然后在另一个终端中,或者如果您使用&

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND