Python 3.x 如何使用google cloud path(gs://)获取google cloud bucket中的所有训练文件和测试文件,在ai平台中训练作业
我正在谷歌云平台上打包一个培训应用程序。我使用python-m和gcloud ai平台对代码进行本地测试,并对其进行本地训练。但当我将工作提交给谷歌云时,谷歌桶中的培训和测试数据网络的路径就行不通了 我的bucket目录:Python 3.x 如何使用google cloud path(gs://)获取google cloud bucket中的所有训练文件和测试文件,在ai平台中训练作业,python-3.x,google-cloud-platform,gcp-ai-platform-training,Python 3.x,Google Cloud Platform,Gcp Ai Platform Training,我正在谷歌云平台上打包一个培训应用程序。我使用python-m和gcloud ai平台对代码进行本地测试,并对其进行本地训练。但当我将工作提交给谷歌云时,谷歌桶中的培训和测试数据网络的路径就行不通了 我的bucket目录: my-models | |--dataset |-train_set | |-cat(100 files inside) | |-dog(100 files inside) | |-test_se
my-models
|
|--dataset
|-train_set
| |-cat(100 files inside)
| |-dog(100 files inside)
|
|-test_set
|-cat(30 files inside)
|-dog(30 files inside)
我正在使用此命令提交作业
$JOB_ID --job-dir=$BUCKET_PATH_FOR_JOB \
--staging-bucket=$BUCKET_NAME \
--package-path=trainer \
--module-name=trainer.task \
--python-version=3.5 \
--region=us-east1 \
--runtime-version=1.14 \
-- \
--train_path='gs://my-models/dataset/train_set/' \
--test_path='gs://my-models/dataset/test_set/' \
...
以下是我的一些代码:
def get_参数:
parser.add_参数
“-列车路径”,
类型=路径,
行动='商店',
help='GCS或训练数据的本地路径',
必需=真
parser.add_参数
“-测试路径”,
类型=路径,
行动='商店',
help='GCS或测试数据的本地路径',
必需=真
返回parser.parse_参数
def get_CLASSETRAIN_路径、test_路径:
列车数据集=列表
测试数据集=列表
列车类别=os.listdirtrain\U路径
test\u classes=os.listdiretest\u路径
返程列车班、测试班
def主:
args=get_args
列车路径=args.train\u路径
测试路径=args.test\u路径
训练类,测试类=获取类路径,测试路径
...
我期望从train_path和test_path输出目录cat和dog的列表。此外,还有读取目录中文件的可能方式。您对您的型号的介绍太少了。但是,如果你使用 添加有关代码的更多信息,以了解它正在使用您提供给它的文件列表执行什么操作