一、环境说明

本教程建立在已有的k8s集群以及安装了helm的前提下，如未搭建k8s集群，请先参考其他相关部署教程。

环境现状：

  • k8s版本为 v1.14.0，部署了helm，版本为v2.13.1；
  • k8s1和k8s2为两个高可用的master节点，同时也是node节点；
  • k8s3为单纯的node节点；
  • mars仅作为docker client使用，所以使用了一台很久以前的虚拟机，docker client 版本比较低，能用就行；
  • 所有机器的操作系统均为CentOS7.2。
  • harbor版本号为 v1.9.0
角色IP主机名程序版本
k8s-master/k8s-node

10.2.1.86

vip:

10.2.1.254

k8s1k8s v1.14.0   helm Client&Server v2.13.1
k8s-master/k8s-node

10.2.1.72

vip:

10.2.1.254

k8s2k8s v1.14.0
k8s-node10.2.1.20k8s3k8s v1.14.0
Docker client10.2.1.67marsdocker client 1.10.3

 

 

  

 

 二、部署harbor

1、从github拉取harbor-helm

git clone https://github.com/goharbor/harbor-helm
cd harbor-helm

 

2、修改相关配置

　　在harbor-helm文件夹里面，可以看到Chart.yml 及 values.yaml 等helm 部署相关的文件，vim 编辑一下value.yaml，根据实际情况修改配置

 ingress:
    hosts:
      core: harbor.mars.com          #修改ingress里面的域名
      notary: notary.mars.com
……
externalURL: https://harbor.mars.com   #修改访问的URL
……
#这部分可以看到，这里需要5个pvc，也就是说需要手动创建5个pv，官方默认为两个5G，3个1G，可根据需要修改size，这里由于是实验环境，所以不作改动
  persistentVolumeClaim:
    registry:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 5Gi
    chartmuseum:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 5Gi
    jobservice:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 1Gi
    database:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 1Gi
    redis:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 1Gi
……
harborAdminPassword: "Harbor12345"   #默认管理员密码为Harbor12345，可在这里进行修改

 

3、创建需要的5个pv

　　为简化实验，本实验环境使用local-storage作为持久化存储，使用k8s3机器的 /data/disks 目录作为本地持久化存储。

  • 在k8s3上面创建五个文件夹
mkdir /data/disks/{disk1-5G,disk2-5G,disk3-1G,disk4-1G,disk5-1G}
  • 在master上面编写5个pv的yaml文件，并创建pv
mkdir pv
cd pv
cat <<EOF > disk1-5G.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: disk1
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  local:
    path: "/data/disks/disk1-5G"
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s3
EOF

cat <<EOF > disk2-5G.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: disk2.yml
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  local:
    path: "/data/disks/disk2-5G"
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s3
EOF

cat <<EOF > disk3-1G.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: disk3.yml
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  local:
    path: "/data/disks/disk3-1G"
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s3
EOF

cat <<EOF > disk4-1G.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: disk4.yml
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  local:
    path: "/data/disks/disk4-1G"
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s3
EOF

cat <<EOF > disk5-1G.yml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: disk5.yml
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  local:
    path: "/data/disks/disk5-1G"
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s3
EOF

kubectl apply -f .
kubectl get pv
 
 
　　可以看到5个pv已经准备就绪
 
 
 
 
 
4、使用helm部署harbor
 
 
 
  
cd /data/harbor-helm
 
  
helm dependency update
 
  
helm install . --debug -n harbor --namespace mars
 
 
 
 
参数说明：
 
 
  • --debug  部署过程中开启debug模式
  • -n  定义helm release的名字
  • --namespace 指定使用哪个namespace部署
 
 
部署完成后，可以通过相关命令查看部署情况
 
 
分别查看helm、pvc、deployment、pod、service、ingress 等是否正常（其中部分pod有可能会失败，但会自动重建，直到最后全部pod都会处理Running状态，个人猜测原因是启动这些deployment需要有一定的顺序，某些deployment需要在其他deployment启动的前提下才能正常启动）
 
 
 
 
 
 
 
 
 
 5、使用浏览器测试
 
 
　　在 Docker Client 的 /etc/hosts 文件里面把 10.2.1.254 指定到域名 harbor.mars.com 的解释上，然后使用浏览器访问 https://harbor.mars.com，由于是实验环境，没有ssl配置证书，直接信任即可。注：此步骤需要使用图形界面，如果Docker Client 没有安装图形界面，请自行安装，或者用其他方法（如ssh隧道）
 
 
 
  
echo '10.2.1.254 harbor.mars.com' >> /etc/hosts
 
 
 
 
 
 
 
 
 
　　使用 admin用户登录（默认密码在之前的value.yaml文件中定义），并创建一个项目mars。
 
 
 
 
 
 
 
 
 
 
三、使用harbor
 
 
 1、登录harbor
 
 
　　harbor部署完毕了，项目也创建好了，现在尝试一下用命令行登录一下。
 
 
 
 
　　发现报错了，看提示，是缺少了CA证书，解决方法有两个：
 
 
　　（1）在Docker Client 的启动文件里面加入 --insecure-registry 参数，强制信任这个镜像仓库（生产环境不推荐，不安全）
 
 
　　（2）在Docker Client 添加harbor的CA证书（推荐）
 
 
　　下面分别说明一下两种方法。
 
 
　　方法一：Docker client 启动文件加入--insecure-registry 参数（生产环境不推荐，不安全）
 
 
　　　　这个版本的Docker的启动文件为 /usr/lib/systemd/system/docker.service ，其他版本可能不一样
 
 
　　　　在ExecStart 加入 --insecure-registry "harbor.mars.com" ，意思为允许不安全地使用 harbor.mars.com 这个镜像仓库
 
 
 
 
　　　　重启 docker 及 daemon
 
 
 
  
systemctl restart docker
systemctl daemon-reload
 
 
 
 
　　　　再次尝试 login，登录成功
 
 
 
 
 
 
 
 　　方法二：在Docker Client 添加harbor的CA证书（推荐）
 
 
　　　　在k8s的master上面通过以下命令获取CA证书
 
 
 
  
kubectl -n mars get secrets/harbor-harbor-ingress -o jsonpath="{.data.ca\.crt}" | base64 --decode
 
 
 
 
 
 
　　　　在Docker Client 上添加证书（不需要重启docker）
 
 
 
  
mkdir /etc/docker/certs.d/harbor.mars.com
cat <<EOF > /etc/docker/certs.d/harbor.mars.com/ca.crt
-----BEGIN CERTIFICATE-----
MIIC9DCCAdygAwIBAgIQdq5L+F3WlnD1oRv7Ai1o1zANBgkqhkiG9w0BAQsFADAU
MRIwEAYDVQQDEwloYXJib3ItY2EwHhcNMTkwNzE4MDQxNzMwWhcNMjAwNzE3MDQx
NzMwWjAUMRIwEAYDVQQDEwloYXJib3ItY2EwggEiMA0GCSqGSIb3DQEBAQUAA4IB
DwAwggEKAoIBAQDVr8SzNtog69u+3kLa8xZYEpgKktV6w7A6d43XSnQOhF2PynT3
AnQ3Ah3NBcjGoYEp7k/JNoNHyvPMMMxqOs8bj/QNTIASN7XuqLZegJCF5E15dttR
ey1bZsINDX4eoa5WN/nYOGRnP6rNF8ijDPwFm/I0bT+V9xTiJgaEScPSmN9YRwkQ
Gm1279W5eXXaHXUeArAdsydC1+hRA0Xxz9mZWA9CGNJwJ3w+Zmvg82CxCcWmm4yf
feiex5N/8u63PynuVV3ZNoWTyDRZ6o7ljXat0MX0fBjmkC6UQbo6IuILSHZR5oPj
mtSMgfqMzT9o175Ew3DtC6KB39cs6op0IXdrAgMBAAGjQjBAMA4GA1UdDwEB/wQE
AwICpDAdBgNVHSUEFjAUBggrBgEFBQcDAQYIKwYBBQUHAwIwDwYDVR0TAQH/BAUw
AwEB/zANBgkqhkiG9w0BAQsFAAOCAQEAZPG5cYVFI8nYNQfZJ8yzkWD0jJMHlZ77
D65gUHnZSsJKQd+yXA674LHfNXCkPDexYZvMZtYjSg/wTwI0xVeW+K3zdfK9MBxM
PCpEJLtrTKj2ZYXKXqG9db7iybKbIgW+6eGELBn7asM7ka0jNWsYVOkKirVtfPzZ
sKUm9ujNfs5W1XeJL/8af/HDX7sYJoNRgDRzYRzmFScV5cq7KD1Vvn7+QjcDdHpJ
QNmJ9QC53LW34NJ+mfQFMXs84LNZ4M08V+Wpyd0p6c8RYRYS8QVxuXbShn3ltP40
Xu2/CRYCzvpOj3vQSn78bqDoXfX/8AX1eKr7iMAPNyrDrYVQU39QpQ==
-----END CERTIFICATE-----
EOF
 
 
 
 
　　　　再次尝试 login，登录成功
 
 
 
 
 
 
 
2、上传本地镜像
 
 
　　把本地的一个镜像 docker.io/redis:latest 上传到harbor，先给镜像打一个tag
 
 
 
  
docker tag docker.io/redis harbor.mars.com/mars/redis:v1
 
 
 
 
　　上传镜像
 
 
 
  
docker push harbor.mars.com/mars/redis:v1
 
 
 
 
　　上传成功
 
 
 
 
　　在harbor页面上对应的项目里面，可以查看到相关的镜像
 
 
 
 
 
 
 
 
3、下载harbor镜像
 
 
　　先删除本地镜像（其实只是去掉一个tag）
 
 
 
  
docker rmi harbor.mars.com/mars/redis:v1
 
 
 
 
　　下载harbor上面的镜像
 
 
 
  
docker pull harbor.mars.com/mars/redis:v1
 
 
 
 
　　下载成功
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 

转载于:https://www.cnblogs.com/longgor/p/11203820.html
 
  

        # 运维
      
        # 数据库
      
        # 5g
      
  
 
 Logo 
K8S/Kubernetes
 
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
 
 
  
更多推荐
  
 
【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美
 
作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江
 
avatar K8S/Kubernetes
 
 
如何基于 K8s 构建下一代 DevOps 平台？
 
作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub
 
avatar K8S/Kubernetes
 
 
k8s 火了！
 
2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...
 
avatar K8S/Kubernetes