Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services SageMaker:ClientError:.lst文件在列车通道中丢失。(自定义图像分类)_Amazon Web Services_Computer Vision_Amazon Sagemaker - Fatal编程技术网

Amazon web services SageMaker:ClientError:.lst文件在列车通道中丢失。(自定义图像分类)

Amazon web services SageMaker:ClientError:.lst文件在列车通道中丢失。(自定义图像分类),amazon-web-services,computer-vision,amazon-sagemaker,Amazon Web Services,Computer Vision,Amazon Sagemaker,问题: 作业在5分钟后重复失败并出现错误 ClientError:.lst文件在列车通道中丢失 上下文: 在AWS控制台中,我有一个图像的二进制分类任务。根据指南,我已经在类的文件名中标记了这些类 最终,我发现了一些错误,这表明对于这个特定的算法,收集标签需要一个.lst文件,因为“内容类型”被指定为image,这显然需要一个lst文件 示例数据: 我正在尝试匹配我在网上和其他地方看到的例子。trn_list.lst的当前迭代如下所示: 292 \t 1 \t dog-292.jpeg 214

问题:

作业在5分钟后重复失败并出现错误

ClientError:.lst文件在列车通道中丢失

上下文:

在AWS控制台中,我有一个图像的二进制分类任务。根据指南,我已经在类的文件名中标记了这些类

最终,我发现了一些错误,这表明对于这个特定的算法,收集标签需要一个
.lst
文件,因为“内容类型”被指定为image,这显然需要一个lst文件

示例数据:

我正在尝试匹配我在网上和其他地方看到的例子。
trn_list.lst的当前迭代如下所示:

292 \t 1 \t dog-292.jpeg
214 \t 1 \t dog-214.jpeg
290 \t 0 \t cat-290.jpeg
288 \t 1 \t dog-288.jpeg
160 \t 1 \t dog-160.jpeg
18 \t 0 \t cat-18.jpeg
215 \t 1 \t dog-215.jpeg
254 \t 1 \t dog-254.jpeg
53 \t 1 \t dog-53.jpeg
337 \t 0 \t cat-337.jpeg
284 \t 0 \t cat-284.jpeg
177 \t 1 \t dog-177.jpeg
192 \t 1 \t dog-192.jpeg
228 \t 0 \t cat-228.jpeg
305 \t 0 \t cat-305.jpeg
258 \t 1 \t dog-258.jpeg
75 \t 0 \t cat-75.jpeg
148 \t 0 \t cat-148.jpeg
268 \t 1 \t dog-268.jpeg
281 \t 1 \t dog-281.jpeg
24 \t 1 \t dog-24.jpeg
328 \t 1 \t dog-328.jpeg
99 \t 1 \t dog-99.jpeg
bucket没有子文件夹,所以我只是将.lst放在


在一次迭代中,我允许创建.lst的R程序在写入时用实际的制表符替换
\t
。在其他迭代中,我将实际的分隔符(
\t
)留在那里。似乎没有影响它(?。

当您使用SageMaker培训作业时,实际上是在将Docker映像部署到EC2实例集群。Docker有一个python文件,它以与您在机器上训练代码类似的方式运行训练代码。在培训代码中,您指的是本地文件夹,因为它希望查找数据,例如要进行培训的图像和用于该培训的元数据

“魔法”是如何从S3获取数据,使其在本地可用于训练实例。这是使用培训作业配置中的通道定义完成的。每个通道定义在训练实例上创建一个本地文件夹,并将数据从S3复制到该本地文件夹。您需要匹配名称、S3位置和文件格式

以下是SageMaker中渠道定义的文档:

对于图像分类内置算法的特定示例,如果使用图像格式进行训练,请指定
训练
验证
训练
验证
通道作为
CreateTrainingJob
请求的
InputDataConfig
参数的值。为列车和验证通道指定单个图像数据(.jpg或.png文件)。在每个列lst和验证lst通道中指定一个.lst文件。将所有四个频道的内容类型设置为
application/x-image


请参阅此处的更多详细信息:

当您使用SageMaker培训作业时,实际上是在将Docker映像部署到EC2实例集群。Docker有一个python文件,它以与您在机器上训练代码类似的方式运行训练代码。在培训代码中,您指的是本地文件夹,因为它希望查找数据,例如要进行培训的图像和用于该培训的元数据

“魔法”是如何从S3获取数据,使其在本地可用于训练实例。这是使用培训作业配置中的通道定义完成的。每个通道定义在训练实例上创建一个本地文件夹,并将数据从S3复制到该本地文件夹。您需要匹配名称、S3位置和文件格式

以下是SageMaker中渠道定义的文档:

对于图像分类内置算法的特定示例,如果使用图像格式进行训练,请指定
训练
验证
训练
验证
通道作为
CreateTrainingJob
请求的
InputDataConfig
参数的值。为列车和验证通道指定单个图像数据(.jpg或.png文件)。在每个列lst和验证lst通道中指定一个.lst文件。将所有四个频道的内容类型设置为
application/x-image

请参阅此处的更多详细信息: