Jupyterhub on K8s 定制notebook镜像
Jupyterhub使用Spawner实现用户Notebook环境的定制化。在Jupyterhub on k8s里用的是Kubespawner(https://jupyterhub-kubespawner.readthedocs.io/en/latest/)配置Kubespawner操作:- 保证在hub镜像中安装KubeSpawner,路径在/usr/local/lib/python3....
·
Jupyterhub使用Spawner实现用户Notebook环境的定制化。在Jupyterhub on k8s里用的是Kubespawner(https://jupyterhub-kubespawner.readthedocs.io/en/latest/)
配置Kubespawner
操作:
- 保证在hub镜像中安装KubeSpawner,路径在/usr/local/lib/python3.6/dist-packages,默认已经安装(注意版本不同配置方式不同)
- 修改helm chart的配置文件。在hub.extraConfig显式配置Spawner。profile_list有image,cpu_limit, gpu_limit等配置项,我这里只配了image,之前配了cpu、gpu之后pod起不来,查log可能是虚拟机资源不够,其实这些配置好像写死了也不是很好,后面可能从一个数据库里读,用一个管理页面去配置。
hub:
extraConfig:
myConfig.py: |
c.JupyterHub.spawner_class = 'kubespawner.KubeSpawner'
c.KubeSpawner.profile_list = [
{
'display_name': 'singleuser sample',
'default': True,
'kubespawner_override': {
'image_spec': 'jupyterhub/k8s-singleuser-sample:0.7.0',
}
}, {
'display_name': 'all-spark-notebooke',
'kubespawner_override': {
'image_spec': 'jupyter/all-spark-notebook:5811dcb711ba',
}
}, {
'display_name': 'tensorflow cpu:2.0',
'kubespawner_override': {
'image_spec': '192.168.199.182:5000/jupyter/tensorflow-notebook:2.0.1',
}
}, {
'display_name': 'tensorflow cpu:1.3',
'kubespawner_override': {
'image_spec': '192.168.199.182:5000/jupyter/tensorflow-notebook:1.3.1',
}
}
]
关于镜像
jupyter有几个原生的notebook镜像,比如上面的jupyterhub/k8s-singleuser-sample,jupyter/all-spark-notebook。jupyter-docker-stacks有介绍notebook镜像的构建过程,可以参照这个过程,在原本的notebook镜像上装我们需要的算法包,然后保存成新的notebook镜像,更新一下helm chart的配置文件就行了。
更改镜像的话可以参照官方github上的dockerfile, 添加自己需要的安装包就行了。
# Copyright (c) Jupyter Development
# Distributed under the terms of the Modified BSD License.
ARG BASE_CONTAINER=jupyter/scipy-notebook
FROM $BASE_CONTAINER
LABEL maintainer="Jupyter Project <jupyter@googlegroups.com>"
# Install Tensorflow
RUN conda install --quiet --yes \
'tensorflow=1.13*' \
'keras=2.2*' && \
conda clean -tipsy && \
fix-permissions $CONDA_DIR && \
fix-permissions /home/$NB_USER
也可以开一个notebook容器在里面装软件,然后保存成新的镜像。
更多推荐
已为社区贡献3条内容
所有评论(0)