Amazon web services SageMaker:ClientError:.lst文件在列车通道中丢失。(自定义图像分类)
问题: 作业在5分钟后重复失败并出现错误 ClientError:.lst文件在列车通道中丢失 上下文: 在AWS控制台中,我有一个图像的二进制分类任务。根据指南,我已经在类的文件名中标记了这些类 最终,我发现了一些错误,这表明对于这个特定的算法,收集标签需要一个Amazon web services SageMaker:ClientError:.lst文件在列车通道中丢失。(自定义图像分类),amazon-web-services,computer-vision,amazon-sagemaker,Amazon Web Services,Computer Vision,Amazon Sagemaker,问题: 作业在5分钟后重复失败并出现错误 ClientError:.lst文件在列车通道中丢失 上下文: 在AWS控制台中,我有一个图像的二进制分类任务。根据指南,我已经在类的文件名中标记了这些类 最终,我发现了一些错误,这表明对于这个特定的算法,收集标签需要一个.lst文件,因为“内容类型”被指定为image,这显然需要一个lst文件 示例数据: 我正在尝试匹配我在网上和其他地方看到的例子。trn_list.lst的当前迭代如下所示: 292 \t 1 \t dog-292.jpeg 214
.lst
文件,因为“内容类型”被指定为image,这显然需要一个lst文件
示例数据:
我正在尝试匹配我在网上和其他地方看到的例子。trn_list.lst的当前迭代如下所示:
292 \t 1 \t dog-292.jpeg
214 \t 1 \t dog-214.jpeg
290 \t 0 \t cat-290.jpeg
288 \t 1 \t dog-288.jpeg
160 \t 1 \t dog-160.jpeg
18 \t 0 \t cat-18.jpeg
215 \t 1 \t dog-215.jpeg
254 \t 1 \t dog-254.jpeg
53 \t 1 \t dog-53.jpeg
337 \t 0 \t cat-337.jpeg
284 \t 0 \t cat-284.jpeg
177 \t 1 \t dog-177.jpeg
192 \t 1 \t dog-192.jpeg
228 \t 0 \t cat-228.jpeg
305 \t 0 \t cat-305.jpeg
258 \t 1 \t dog-258.jpeg
75 \t 0 \t cat-75.jpeg
148 \t 0 \t cat-148.jpeg
268 \t 1 \t dog-268.jpeg
281 \t 1 \t dog-281.jpeg
24 \t 1 \t dog-24.jpeg
328 \t 1 \t dog-328.jpeg
99 \t 1 \t dog-99.jpeg
bucket没有子文件夹,所以我只是将.lst放在
在一次迭代中,我允许创建.lst的R程序在写入时用实际的制表符替换\t
。在其他迭代中,我将实际的分隔符(\t
)留在那里。似乎没有影响它(?。当您使用SageMaker培训作业时,实际上是在将Docker映像部署到EC2实例集群。Docker有一个python文件,它以与您在机器上训练代码类似的方式运行训练代码。在培训代码中,您指的是本地文件夹,因为它希望查找数据,例如要进行培训的图像和用于该培训的元数据
“魔法”是如何从S3获取数据,使其在本地可用于训练实例。这是使用培训作业配置中的通道定义完成的。每个通道定义在训练实例上创建一个本地文件夹,并将数据从S3复制到该本地文件夹。您需要匹配名称、S3位置和文件格式
以下是SageMaker中渠道定义的文档:
对于图像分类内置算法的特定示例,如果使用图像格式进行训练,请指定训练
、验证
、训练
和验证
通道作为CreateTrainingJob
请求的InputDataConfig
参数的值。为列车和验证通道指定单个图像数据(.jpg或.png文件)。在每个列lst和验证lst通道中指定一个.lst文件。将所有四个频道的内容类型设置为application/x-image
请参阅此处的更多详细信息:当您使用SageMaker培训作业时,实际上是在将Docker映像部署到EC2实例集群。Docker有一个python文件,它以与您在机器上训练代码类似的方式运行训练代码。在培训代码中,您指的是本地文件夹,因为它希望查找数据,例如要进行培训的图像和用于该培训的元数据
“魔法”是如何从S3获取数据,使其在本地可用于训练实例。这是使用培训作业配置中的通道定义完成的。每个通道定义在训练实例上创建一个本地文件夹,并将数据从S3复制到该本地文件夹。您需要匹配名称、S3位置和文件格式
以下是SageMaker中渠道定义的文档:
对于图像分类内置算法的特定示例,如果使用图像格式进行训练,请指定训练
、验证
、训练
和验证
通道作为CreateTrainingJob
请求的InputDataConfig
参数的值。为列车和验证通道指定单个图像数据(.jpg或.png文件)。在每个列lst和验证lst通道中指定一个.lst文件。将所有四个频道的内容类型设置为application/x-image
请参阅此处的更多详细信息: