Continuous integration ML模型部署CI/CD

我在DataBricks上使用MLFlow训练模型，并将最终模型输出到S3。然后，使用Seldon Core将模型打包并部署到AWS EKS

我正在寻找一种工具，通过从S3中获取模型，将其打包到docker容器中，并使用Seldon Core K8S模板将其推送到AWS EKS，来填补这一空白

我相信适合这项工作的工具是Kubeflow管道。其他竞争者是詹金斯、Gitlab和特拉维西

---

Kubeflow是这项工作的绝对正确工具吗？与其他人相比，Kubeflow的优点/缺点是什么？如果有人已经做过管道的研究，甚至可能已经建造了管道……

GitLab实际上做的正是Kubeflow管道的开箱即用，它类似于CircleCI或TravisCI。我最终用它来替代Kubeflow管道

关于Kubeflow。。。 在0.5版和0.6版上对Kubeflow进行了实验之后，我们的感觉是它仍然非常不稳定。MiniKube（本地K8S）和AWS EKS的安装从未顺利进行。对于MiniKube，文档中的安装脚本已损坏，您将能够看到许多人出现问题，并手动编辑安装脚本（这是我为使其正确安装所必须做的）。在EKS上，我们无法安装0.5，必须安装更旧的版本。Kubeflow希望以特定的方式管理工作节点，我们的安全策略不允许这样做，只有在订单版本中，您才能覆盖该选项

Kubeflow也正在切换到Kuztomize，它还不稳定，因此如果您现在使用它，您将使用不再受支持的Ksonnet，并且您将学习一个迟早会从窗口中学习的工具

总而言之，我们应该等到1.0版，但Gitlab作为kubeflow管道的替代品做得非常出色

希望这能帮助其他有同样想法的人