Airflow 向MLEngine气流操作符提供参数
我已经能够使用Airflow 向MLEngine气流操作符提供参数,airflow,google-cloud-ml,google-cloud-composer,Airflow,Google Cloud Ml,Google Cloud Composer,我已经能够使用gcloud ml engine sumbit作业CLI成功地进行培训。然后,我从success作业的控制台培训输入中复制了“args”值 "args": [ "--output_dir=gs://composer-models/flowers/trained_cnn", "--train_steps=1000", "--learning_rate=0.01", "--batch_size=40", "--model=cnn", "-
gcloud ml engine sumbit作业
CLI成功地进行培训。然后,我从success作业的控制台培训输入中复制了“args”值
"args": [
"--output_dir=gs://composer-models/flowers/trained_cnn",
"--train_steps=1000",
"--learning_rate=0.01",
"--batch_size=40",
"--model=cnn",
"--augment",
"--batch_norm",
"--train_data_path=gs://cloud-ml-data/img/flower_photos/train_set.csv",
"--eval_data_path=gs://cloud-ml-data/img/flower_photos/eval_set.csv"
]
但是,现在,当我尝试使用airflowMLEngineTrainingOperator运行作业时,我遇到以下错误:
即使参数与使用gcloud
成功运行时使用的参数相同
这是应该解析task.py
文件中的参数的部分:
parser.add_argument(
'--learning_rate',
help='Initial learning rate for training',
type=float,
default=0.01
)
针对培训师的参数应传递给MLEngineTrainingOperator
的training\u args
。
在此处检查操作员的文档。
从错误消息中,我怀疑您在task.py
中仅为--learning\u rate
和--batch\u size
添加了参数