Tensorflow服务于从S3加载多个模型

我们已经成功地将我们的容器集成到s3桶中的装载模型中。但是，我们无法确定如何加载多个模型。理想情况下，我们希望容器指向一个没有模型的桶。随着时间的推移，我们希望将模型复制到s3，由tensorflow服务提供服务

docker run \
  -p 8501:8501 \
  -e S3_USE_HTTPS=0 \
  -e S3_VERIFY_SSL=0 \
  -e AWS_ACCESS_KEY_ID=<key> \
  -e AWS_SECRET_ACCESS_KEY=<access_key> \
  -e MODEL_BASE_PATH=s3://test-bucket/tf_model_directory/ \
  -e MODEL_NAME=SAR \
  -e AWS_LOG_LEVEL=3 \
  -t tensorflow/serving

docker运行\
-p 8501:8501\
-e S3\u使用\u HTTPS=0\
-e S3\u验证\u SSL=0\
-e AWS\u访问\u密钥\u ID=\
-e AWS\u机密\u访问\u密钥=\
-e MODEL_BASE_PATH=s3://test bucket/tf_MODEL_directory/\
-e型号_名称=SAR\
-e AWS_日志_级别=3\
-t tensorflow/发球

---

上面的命令需要指定一个模型名。我想知道是否有一种方法可以在没有模型名的情况下启动它，或者强制tensorflow从s3路径选择配置。

您是否尝试过使用模型配置文件？我读了有关配置文件的内容。我不知道如何将路径传递到docker容器。我认为您可以在model.conf文件中指定模型的路径（

s3://…/tf_model_dir/

），将model.conf文件上载到同一个bucket，并将其位置传递到

--model_config_文件

标志：我确实尝试过这样做，但似乎不起作用。当我没有指定模型名称时，它默认为“model”文件夹，并且由于模型文件夹不存在而失败。我认为行为来自以下代码：。似乎我必须构建一个新的docker文件或修改入口点才能使其工作。@AKG找到解决方案了吗？model.config和S3结构看起来如何？我无法将其用于S3。您是否尝试使用模型配置文件？我读了有关配置文件的内容。我不知道如何将路径传递到docker容器。我认为您可以在model.conf文件中指定模型的路径（

s3://…/tf_model_dir/

），将model.conf文件上载到同一个bucket，并将其位置传递到

--model_config_文件

标志：我确实尝试过这样做，但似乎不起作用。当我没有指定模型名称时，它默认为“model”文件夹，并且由于模型文件夹不存在而失败。我认为行为来自以下代码：。似乎我必须构建一个新的docker文件或修改入口点才能使其工作。@AKG找到解决方案了吗？model.config和S3结构看起来如何？我不能让它与S3一起工作。