Python 如何使用Pytork在sagemaker中创建管道

我正在处理sagemaker中文本数据的分类问题。其中，我首先对其进行拟合并将其转换为结构化格式（比如在sklearn中使用TFIDF），然后将结果保存在S3 bucket中，并将其用于训练我的pytorch模型，我已经在我的入口点中为其编写了代码

如果我们注意到，在上述过程结束时，我有两个模型

sklearn-TFIDF模型

实际Pytork模型

因此，每当我需要预测新的文本数据时，我都需要使用我在培训期间创建的TFIDF模型分别处理（转换）文本数据

如何使用sklearn的TFIDF和pytorch模型在sagemaker中创建管道

---

如果我在entrypoint的main方法中使用TFIDF拟合和转换文本数据，那么如果我在main方法中训练我的pytorch模型，我只能返回一个将在model_fn（）中使用的模型，首先，在此处签出mnist示例：

使用脚本模式，您可以使用下面的估计器运行代码（在mnist.py中）

from sagemaker.pytorch import PyTorch

estimator = PyTorch(entry_point='mnist.py',
                    role=role,
                    framework_version='1.1.0',
                    train_instance_count=2,
                    train_instance_type='ml.c4.xlarge',
                    hyperparameters={
                        'epochs': 6,
                        'backend': 'gloo'
                    })

---

只需按照tfidf管道更新mnist.py脚本即可。希望这有帮助。

显然，我们需要使用推理管道

推理管道是Amazon SageMaker模型，由两到五个容器的线性序列组成，这些容器处理对数据的推理请求。您可以使用推理管道来定义和部署预训练的Amazon SageMaker内置算法和打包在Docker容器中的自定义算法的任意组合。您可以使用推理管道来组合预处理、预测和后处理数据科学任务。推理管道是完全管理的

你可以在这里阅读文件-

范例-