Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/docker/10.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
为什么可以';不要在自定义SM映像上运行S3FS,因为SM不会';无法使用权限运行docker映像_Docker_Docker Compose_Amazon Sagemaker_Docker Image_S3fs - Fatal编程技术网

为什么可以';不要在自定义SM映像上运行S3FS,因为SM不会';无法使用权限运行docker映像

为什么可以';不要在自定义SM映像上运行S3FS,因为SM不会';无法使用权限运行docker映像,docker,docker-compose,amazon-sagemaker,docker-image,s3fs,Docker,Docker Compose,Amazon Sagemaker,Docker Image,S3fs,您是否使用Sagemaker自定义图像:是 描述问题 我创建了一个自定义映像,以支持在多个实例上训练大量模型。 为此,我选择S3FS为所有实例提供共享S3位置 在Sagemaker外部运行此docker映像时,我必须在docker运行时使用--privileged或--cap add SYS_ADMIN--device/dev/fuse参数来为容器启用更多权限。这可以使映像在该共享位置上的多个EC2实例上运行并写出模型 当将该映像移动到Sagemaker上运行时,默认情况下,SM不使用extra

您是否使用Sagemaker自定义图像:是

描述问题

我创建了一个自定义映像,以支持在多个实例上训练大量模型。 为此,我选择S3FS为所有实例提供共享S3位置

在Sagemaker外部运行此docker映像时,我必须在docker运行时使用
--privileged
--cap add SYS_ADMIN--device/dev/fuse
参数来为容器启用更多权限。这可以使映像在该共享位置上的多个EC2实例上运行并写出模型

当将该映像移动到Sagemaker上运行时,默认情况下,SM不使用extras权限运行该映像,因此,S3FS在Sagegmaker上失败,因为SM不提供对provisioning/dev/fuse加载fuse模块的权限


我不知道是否有办法让SageMaker以更高的权限运行自定义映像?

您是否尝试使用S3FS来训练数据?@Ngenator否,数据训练已作为SM输入的一部分同步。S3FS用于在培训期间同步模型工件,因为当共享s3发生更改时,不同实例上的多个进程需要获得更新。一个解决办法是手动同步前/后向模型工件,但使用S3FS可以在幕后无缝地处理这一问题。