简介

kubeflow pipeline是谷歌2018年11月开源的基于k8s的端到端机器学习系统,通过CRD实现对tensorflow等框架的支持,通过kubeflow实现在k8s上运行训练,评估等任务, 而kubeflow又是基于argo实现对工作流的调度.

kubeflow pipeline在k8s上的部署过程是先部署ml-pipeline job, 该job使用ks部署kubeflow等服务,共27个pod.

部署过程

1. 参考官方https://github.com/kubeflow/pipelines/wiki/Deploy-the-Kubeflow-Pipelines-Service
   下载bootstrapper.yaml, 该文件会自动deploy-ml-pipeline job, 需要的镜像通过翻墙才能拉取, 阿里云上已经有同步的镜像. 该镜像的制作方式参考https://github.com/kubeflow/pipelines/blob/master/pipeline/Dockerfile
2. kubectl create -f bootstrapper.yaml
   创建好部署job后会在k8s上创建kubeflow namespace, 所有的服务都部署在此. 然后会一次拉取镜像