Google app engine 是否从Gzip CSV文件将数据上载到数据存储?
我有一个非常大的gzip csv文件(大约500GB),我需要使用批量加载工具将其导入到数据存储中。不需要先解压缩就可以了吗?如果是,我必须如何配置bulkload.yaml文件Google app engine 是否从Gzip CSV文件将数据上载到数据存储?,google-app-engine,bulkloader,Google App Engine,Bulkloader,我有一个非常大的gzip csv文件(大约500GB),我需要使用批量加载工具将其导入到数据存储中。不需要先解压缩就可以了吗?如果是,我必须如何配置bulkload.yaml文件 transformers: - kind: Client connector: csv connector_options: encoding: zip? 使用命名管道怎么样 mkfifo --mode=0666 /tmp/namedPipe gzip --stdout -d file.
transformers:
- kind: Client
connector: csv
connector_options:
encoding: zip?
使用命名管道怎么样
mkfifo --mode=0666 /tmp/namedPipe
gzip --stdout -d file.gz > /tmp/namedPipe
然后在另一个终端中,或者如果您使用&
appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND
从