K8S/Kubernetes

一、spinnaker概述

1、spinnaker是netflix开源的一款云发布CI/CD,其前身是Asgard，spinnaker支持各种部署目标，包括OpenStack、DC/OS、Kubernetes 和 Cloud Foundry等。

2、功能概述
　　& 通过灵活和可配置 Pipelines，实现可重复的自动化部署；
　　& 提供所有环境的全局视图，可随时查看应用程序在其部署 Pipeline 的状态；
　　& 通过一致且可靠的 API ，提供可编程配置；
　　& 易于配置、维护和扩展；
　　& 具有操作伸缩性；
　　& 兼容 Asgard 特性，原用户不用迁移。

3、组件概述

  
　　& Deck：面向用户 UI 界面组件，提供直观简介的操作界面，可视化操作发布部署流程。
　　& API： 面向调用 API 组件，我们可以不使用提供的 UI，直接调用 API 操作，由它后台帮我们执行发布等任务。
　　& Gate：是 API 的网关组件，可以理解为代理，所有请求由其代理转发。
　　& Rosco：是构建 beta 镜像的组件，需要配置 Packer 组件使用。
　　& Orca：是核心流程引擎组件，用来管理流程。
　　& Igor：是用来集成其他 CI 系统组件，如 Jenkins 等一个组件。
　　& Echo：是通知系统组件，发送邮件等信息。
　　& Front50：是存储管理组件，需要配置 Redis、Cassandra 等组件使用。
　　& Cloud driver 是它用来适配不同的云平台的组件，比如 Kubernetes，Google、AWS EC2、Microsoft Azure 等。
　　& Fiat 是鉴权的组件，配置权限管理，支持 OAuth、SAML、LDAP、GitHub teams、Azure groups、 Google Groups 等。

二、部署

1、部署系统

    ubuntu   4 核 8G     系统版本：16.04 tls

2、安装docker

 选择合适的版本，k8s使用的版本为docker-ce_17.06.

下载docker：
   https://download.docker.com/linux/ubuntu/dists/xenial/pool/test/amd64/

安装docker：

# dpkg -i /data/docker-ce_17.06.2~ce-0~ubuntu-xenial_amd64.deb

配置dockerFQ：
配置自己的shadowsocks+privoxy,参考我的博客：https://www.cnblogs.com/cuishuai/p/8463458.html

# mkdir /etc/systemd/system/docker.service.d/
# cd /etc/systemd/system/docker.service.d/
# cat http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://10.10.23.4:8118" "NO_PROXY=localhost,127.0.0.1,0.0.0.0,10.10.29.3,10.10.25.29,172.11.0.0,172.10.0.0,172.11.0.0/16,172.10.0.0/16,10.,172.,10.10.23.4,10.96.0.0/12,10.244.0.0/16"

# systemctl daemon-reload
# systemctl restart docker

3、使用kubeadm安装k8s

为ubuntu系统换源，国内环境不FQ下载不了，所以需要换一个源。

# cat <<EOF > /etc/apt/sources.list.d/kubernetes.list
deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main
EOF

# apt-get  update

# apt-get install  kubeadm  kubectl  kubelet  ipvsadm

默认安装的最新版本，我安装的是1.11.2.

可以提前下载需要的镜像：

k8s.gcr.io/kube-proxy-amd64:v1.11.2

k8s.gcr.io/kube-controller-manager-amd64:v1.11.2

k8s.gcr.io/kube-apiserver-amd64:v1.11.2

k8s.gcr.io/kube-scheduler-amd64:v1.11.2

k8s.gcr.io/coredns:1.1.3

k8s.gcr.io/etcd-amd64:3.2.18

k8s.gcr.io/pause:3.1

quay.io/coreos/flannel:v0.10.0-amd64

如果已经配置了FQ，可以直接执行下面的初始化步骤。

 

初始化k8s：

# kubeadm init --kubernetes-version v1.11.2 --token-ttl 0 \

--pod-network-cidr 10.244.0.0/16

按照提示完成初始化操作，然后设置master可以deploy。

# kubectl taint nodes --all node-role.kubernetes.io/master-

 

如上图所示则表示启动正常。

 

4、创建Account和NFS动态存储

首先要搭建一个NFS服务，具体搭建过程参考我的另外一篇博客：https://www.cnblogs.com/cuishuai/p/7798154.html

在现在的系统上安装客户端：

# apt install nfs-kernel-server

设置挂在点：

# mount -t nfs  10.10.29.4:/data/opv  /data/opv -o proto=tcp -o nolock

 ##10.10.29.4:/data/opv 的/data/opv是nfs服务的共享目录，  后面的/data/opv是本机的挂在点。

 

1）创建account用于helm部署服务

##创建tiller用户，用于helm安装授权
# cat rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
   name: tiller
   namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
   name: tiller
roleRef:
   apiGroup: rbac.authorization.k8s.io
   kind: ClusterRole
   name: cluster-admin
subjects:
   - kind: ServiceAccount
     name: tiller
     namespace: default

# kubectl  create -f  rbac.yaml

##创建default用户，用于spinnaker安装授权
# cat default-rbac.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
   name: default
roleRef:
   apiGroup: rbac.authorization.k8s.io
   kind: ClusterRole
   name: cluster-admin
subjects:
   - kind: ServiceAccount
     name: default
     namespace: default

# kubectl  create -f  default-rbac.yaml

2）创建NFS动态存储

！创建用户授权

# cat serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
   name: nfs-provisioner

# cat clusterrole.yaml
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
   name: nfs-provisioner-runner
rules:
   - apiGroups: [""]
      resources: ["persistentvolumes"]
      verbs: ["get", "list", "watch", "create", "delete"]
   - apiGroups: [""]
      resources: ["persistentvolumeclaims"]
      verbs: ["get", "list", "watch", "update"]
   - apiGroups: ["storage.k8s.io"]
      resources: ["storageclasses"]
      verbs: ["get", "list", "watch"]
   - apiGroups: [""]
      resources: ["events"]
      verbs: ["watch", "create", "update", "patch"]
   - apiGroups: [""]
      resources: ["services", "endpoints"]
      verbs: ["get"]
   - apiGroups: ["extensions"]
      resources: ["podsecuritypolicies"]
      resourceNames: ["nfs-provisioner"]
      verbs: ["use"]


# cat clusterrolebinding.yaml
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
   name: run-nfs-provisioner
subjects:
   - kind: ServiceAccount
     name: nfs-provisioner
     namespace: default
roleRef:
   kind: ClusterRole
   name: nfs-provisioner-runner
   apiGroup: rbac.authorization.k8s.io

# kubectl create -f serviceaccount.yaml -f clusterrole.yaml -f clusterrolebinding.yaml

！创建deployment

# cat deployment.yaml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
   name: nfs-client-provisioner
spec:
   replicas: 1
   strategy:
   type: Recreate
   template:
      metadata:
         labels:
            app: nfs-client-provisioner
      spec:
         serviceAccount: nfs-provisioner
         containers:
            - name: nfs-client-provisioner
               image: registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner
               volumeMounts:
                  - name: nfs-client-root
mountPath: /persistentvolumes
   env:
      - name: PROVISIONER_NAME
         value: fuseim.pri/ifs
      - name: NFS_SERVER
         value: 10.10.29.4
      - name: NFS_PATH
         value: /data/opv
   volumes:
      - name: nfs-client-root
         nfs:
            server: 10.10.29.4
            path: /data/opv

 

！创建storageclass

# cat storageclass.yaml
apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
   name: managed-nfs-storage
provisioner: fuseim.pri/ifs

# kubectl create -f deployment.yaml -f storageclass.yaml

5、安装helm

下载相应的二进制安装包

https://github.com/helm/helm/releases

解压加入到系统路径：

#  wget https://storage.googleapis.com/kubernetes-helm/helm-v2.10.0-linux-amd64.tar.gz

# tar xf helm-v2.10.0-linux-amd64.tar.gz

# cp helm  /usr/local/bin

初始化helm，安装tiller

# helm init --upgrade --service-account tiller --tiller-namespace default -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.10.0 --stable-repo-url https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

官网下载最新的charts。不要用aliyun的，版本太低，会报错。

https://github.com/helm/charts/tree/master/stable/spinnaker

 

修改charts里的storageclass为上面自己定义的：managed-nfs-storage

root@skr:/data/spinnaker# ls charts/
jenkins minio redis

1)修改三个目录下的values.yaml文件，将storageclass/Storageclass名称修改为上面创建的managed-nfs-storage

2)修改spinnaker目录下的values.yaml文件，将minio的imageTAG修改成和charts/minio目录下的values.yaml文件一样的。

#vim  spinnaker/values.yaml

minio:
enabled: true
imageTag: RELEASE.2018-03-16T22-52-12Z

# vim spinnaker/charts/minio/values.yaml

image:
repository: minio/minio
tag: RELEASE.2018-03-16T22-52-12Z

 

 

定义自己的docker registry地址:
#vim spinnaker/values.yaml
accounts:
- name: dockerhub
   address: https://index.docker.io

address修改为自己的registry地址

3)修改spinnaker目录下的values.yaml文件,修改kubeConfig

kubectl create secret generic kubeconfig --from-file=/root/.kube/config

kubeConfig:
enabled: true
secretName: kubeconfig
secretKey: config
# List of contexts from the kubeconfig to make available to Spinnaker
contexts:
- kubernetes-admin@kubernetes

6、安装spinnaker：

在spinnaker目录下面执行：
# helm install -n spinnaker --tiller-namespace default ./ -f values.yaml --namespace default

  

  

  

如果部署出问题了，可以使用如下命令删掉本次部署：

# helm del --purge --tiller-namespace default spinnaker

 

7、访问

配置访问deck：
查看pod的服务端口：
# kubectl get pods spinnaker-spinnaker-deck-5d87d8d9f9-lswwv --template='{{(index (index .spec.containers 0).ports 0).containerPort}}{{"\n"}}'

映射端口到本地，127.0.0.1:port可以访问服务。当然可以部署一个ingress代理访问，这里只是测试环境。

# kubectl port-forward spinnaker-spinnaker-deck-5d87d8d9f9-lswwv 9000:9000

由于这样暴漏的服务监听的127.0.0.1，所以为了使用服务，需要自己搞一个服务代理。这里我就使用nginx:

##spinnaker-spinnaker-deck-5d87d8d9f9-lswwv  是我的deck的pod的名称，这里需要写自己的。

删除删不掉的pod：
# kubectl delete pod pod-name --grace-period 0 --force