Python 3.x 如何使用google cloud path(gs://)获取google cloud bucket中的所有训练文件和测试文件,在ai平台中训练作业

Python 3.x 如何使用google cloud path(gs://)获取google cloud bucket中的所有训练文件和测试文件,在ai平台中训练作业,python-3.x,google-cloud-platform,gcp-ai-platform-training,Python 3.x,Google Cloud Platform,Gcp Ai Platform Training,我正在谷歌云平台上打包一个培训应用程序。我使用python-m和gcloud ai平台对代码进行本地测试,并对其进行本地训练。但当我将工作提交给谷歌云时,谷歌桶中的培训和测试数据网络的路径就行不通了 我的bucket目录: my-models | |--dataset |-train_set | |-cat(100 files inside) | |-dog(100 files inside) | |-test_se

我正在谷歌云平台上打包一个培训应用程序。我使用python-m和gcloud ai平台对代码进行本地测试,并对其进行本地训练。但当我将工作提交给谷歌云时,谷歌桶中的培训和测试数据网络的路径就行不通了

我的bucket目录:

my-models
  |
  |--dataset
      |-train_set
      |    |-cat(100 files inside)
      |    |-dog(100 files inside)
      |
      |-test_set
           |-cat(30 files inside)
           |-dog(30 files inside)

我正在使用此命令提交作业

$JOB_ID --job-dir=$BUCKET_PATH_FOR_JOB \
        --staging-bucket=$BUCKET_NAME \
        --package-path=trainer \
        --module-name=trainer.task \
        --python-version=3.5 \
        --region=us-east1 \
        --runtime-version=1.14 \
        -- \
        --train_path='gs://my-models/dataset/train_set/' \
        --test_path='gs://my-models/dataset/test_set/' \
...
以下是我的一些代码:

def get_参数: parser.add_参数 “-列车路径”, 类型=路径, 行动='商店', help='GCS或训练数据的本地路径', 必需=真 parser.add_参数 “-测试路径”, 类型=路径, 行动='商店', help='GCS或测试数据的本地路径', 必需=真 返回parser.parse_参数 def get_CLASSETRAIN_路径、test_路径: 列车数据集=列表 测试数据集=列表 列车类别=os.listdirtrain\U路径 test\u classes=os.listdiretest\u路径 返程列车班、测试班 def主: args=get_args 列车路径=args.train\u路径 测试路径=args.test\u路径 训练类,测试类=获取类路径,测试路径 ...
我期望从train_path和test_path输出目录cat和dog的列表。此外,还有读取目录中文件的可能方式。

您对您的型号的介绍太少了。但是,如果你使用

添加有关代码的更多信息,以了解它正在使用您提供给它的文件列表执行什么操作