azure blob上载拼花文件(文件文件夹)
如何将文件夹递归上载到azure blob存储?我想上传拼花地板文件:azure blob上载拼花文件(文件文件夹),azure,directory,azure-storage-blobs,parquet,azure-cli,Azure,Directory,Azure Storage Blobs,Parquet,Azure Cli,如何将文件夹递归上载到azure blob存储?我想上传拼花地板文件: abcd.parquet ├── _SUCCESS ├── myPart=20180101 │ └── part-00179-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet ├── myPart=20180102 └── part-00022-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet 以下是:
abcd.parquet
├── _SUCCESS
├── myPart=20180101
│ └── part-00179-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
├── myPart=20180102
└── part-00022-660f71d6-ed44-41c7-acf0-008724dd923a.c000.gz.parquet
以下是:
az storage blob upload -f abcd.parquet -c my_container -n abcd
失败:是一个目录
似乎可以在windows上使用AZCopy进行递归上载
看起来:linux也有类似的功能,但我也不知道是否应该改用spark
此外,是否可以将上传时的目录层次结构转换为文件名,即abcd.parquet\u dt=2018…\u part-…gz.parquet
,以便需要更少的目录列表
最后,在上传到azure之后,分区仍然可以像spark预期的那样工作
有关:
-blobxfer非常适合将文件同步到azure(递归)我无法以exe、docker或pip的形式运行blobxfer。