为什么可以';不要在自定义SM映像上运行S3FS,因为SM不会';无法使用权限运行docker映像
您是否使用Sagemaker自定义图像:是 描述问题 我创建了一个自定义映像,以支持在多个实例上训练大量模型。 为此,我选择S3FS为所有实例提供共享S3位置 在Sagemaker外部运行此docker映像时,我必须在docker运行时使用为什么可以';不要在自定义SM映像上运行S3FS,因为SM不会';无法使用权限运行docker映像,docker,docker-compose,amazon-sagemaker,docker-image,s3fs,Docker,Docker Compose,Amazon Sagemaker,Docker Image,S3fs,您是否使用Sagemaker自定义图像:是 描述问题 我创建了一个自定义映像,以支持在多个实例上训练大量模型。 为此,我选择S3FS为所有实例提供共享S3位置 在Sagemaker外部运行此docker映像时,我必须在docker运行时使用--privileged或--cap add SYS_ADMIN--device/dev/fuse参数来为容器启用更多权限。这可以使映像在该共享位置上的多个EC2实例上运行并写出模型 当将该映像移动到Sagemaker上运行时,默认情况下,SM不使用extra
--privileged
或--cap add SYS_ADMIN--device/dev/fuse
参数来为容器启用更多权限。这可以使映像在该共享位置上的多个EC2实例上运行并写出模型
当将该映像移动到Sagemaker上运行时,默认情况下,SM不使用extras权限运行该映像,因此,S3FS在Sagegmaker上失败,因为SM不提供对provisioning/dev/fuse加载fuse模块的权限
我不知道是否有办法让SageMaker以更高的权限运行自定义映像?您是否尝试使用S3FS来训练数据?@Ngenator否,数据训练已作为SM输入的一部分同步。S3FS用于在培训期间同步模型工件,因为当共享s3发生更改时,不同实例上的多个进程需要获得更新。一个解决办法是手动同步前/后向模型工件,但使用S3FS可以在幕后无缝地处理这一问题。