Fabric-solo on k8s

本文主要内容:

  1. 为简化实验,将e2e_cli多组织,改为单组织,部署solo共识算法,此时无需kafka/zookeeper集群,另,e2e_cli demo不需要ca等
  2. 将e2e_cli下orderer、peer0.org1、peer1.org1、cli等docker-compose yaml文件转化为k8s文件
  3. 搭建k8s with flannel集群
  4. 修改dns,fabric实例化链码,将启动一个docker容器,该容器在k8s环境外,但仍在flannel网络下,需要修改docker的dns,以便链码容器能够解析道k8s集群中的地址
  5. 启动fabric on k8s,测试e2e_cli

说明:本实验中的yaml文件配置,是按绝对路径设置的,若需,请按本实验环境的fabric路径或者,修改yaml文件/测试脚本中的路径。
本文Fabric文件路径:

/root/go/src/github.com/hyperledger/fabric/examples/e2e_cli

另,本次实验,为纯手动模式,未使用nfs共享配置,未进行数据持久化,未对链码容器进行监控。

将e2e_cli修改为单组织

手动部署,需要对移植的yaml文件进行大量的修改配置,为了减少修改yaml文件中的配置。修改为单组织,只需要删除configx.yaml中org2、org3的部分,删除docker-compose-cli.yaml中有关org2的部分,删掉base/docker-compose-base.yaml有关org2的部分,修改scripts/script.sh,去掉有关org2、org3的加入通道、安装链码、操作、查询链码等部分,修改joinChannel()函数,去掉org2。

此部分较为简单,为了后续在k8s上部署成功,需要此部分单组织的功能验证,以及正确的配置文件。

详细修改内容即测试,见本人的Hyperledger fabric with one org
另,该部分内容,已经放到github上,可以直接拉取下来使用,scylhy/e2e_cli.one.org

此外,k8s 不支持用点组成的容器名,所以上述的文件,还需做相应的更改。
k8s的namespace将各pod分割开来,其域名解析就是 podhostname.namespace,这样就可以对Fabric原来的域名方式进行简单修改,即可使用。
同时,我也尝试过将他们放在一个块,即同一个域名下,对于k8s来说,他们都在default namespace,但当时因为k8s集群dns出现问题,没有实验成功。
后来是直接按划分组织的方式进行实验,并取得成功的。
适应k8s,修改组织域名情况:

组织/节点原域名适应k8s,更改后的域名
ordererorderer.exmaple.comorderer.ord
org1org1.example.comorg1
peer0.org1peer0.org1.example.compeer0.org1
peer1.org1peer1.org1.example.compeer1.org1
搭建k8s集群

因为我这只剩一台可用的服务器,所以试验时,采用单节点集群,集群部署后,一定要测试好dns,使节点能够互相解析到。

搭建单节点的k8s集群,见我的Creating a single master cluster with kubeadm
若需多节点,可参考kubeadm 搭建k8s集群

配置docker dns

因为链码容器是在k8s之外,所以链码容器无法解析到k8s集群中的域名,但是,可以为docker容器添加k8s的kube-dns服务的ip,让docker容器解析k8s内容域名时,可通过kube-dns解析到。

首先,确定k8s的kube-dns的ip,即域名服务器的ip:

root@hw1:~# kubectl get svc -n kube-system -owide
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE   SELECTOR
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP   11h   k8s-app=kube-dns
root@hw1:~# 

得到k8s集群域名服务器地址为10.96.0.10,此外还需要确定搜索的域名,可通过启动一个busybox查看其/etc/resov.conf文件:

root@hw1:~# kubectl exec -it busybox /bin/sh
/ # cat /etc/resolv.conf 
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local openstacklocal
options ndots:5
/ # 

这里,我们得到k8s集群搜索的域名:

default.svc.cluster.local svc.cluster.local cluster.local

以及,一个参数ndots:5,该参数的意思是搜索几层域名,k8s中一般搜索5层即可解析到域名。

修改docker配置,在/etc/docker/daemon.json中添加如下参数:

{
   "dns":["127.0.0.53","10.96.0.10"],
   "dns-search" : ["default.svc.cluster.local","svc.cluster.local","cluster.local"],
   "dns-opts": ["ndots:5"]
}

以上三种参数缺一不可,不可打错,其中127.0.0.53为宿主机的使用的域名服务器。

重启docker服务

root@hw1:~# systemctl restart docker

启动一个docker容器,查看dns是否设置正确:

root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# cat /etc/resolv.conf 
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 127.0.0.53
nameserver 10.96.0.10
options ndots:5
root@9c926041b6bd:/# 

稍后,在启动fabric后,再测试外部容器是否能够解析到k8s中fabric的节点。

启动fabric

首先,确保e2e_cli中设计的orderer.example、peer0.org1.example.com、peer1.org1.example.com已经改为orderer.ord、peer0.org1、peer1.org1,其他如ca、kafka、zookeeper此时试验不需要,直接删除即可。

k8s需要的yaml文件

root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli/k8s.solo# tree
.
├── cli
│   └── cli.yaml //cli容器
├── order
│   ├── orderer-deployment.yaml 
│   ├── orderer-service.yaml
│   └── ord-name.yaml //ord namespace
├── org1
│   ├── org1-name.yaml //org1 namespace
│   ├── peer0.yaml
│   └── peer1.yaml
├── startall.sh
└── stopall.sh

上述涉及namespace、deployment(pod的一种副本管理器)、service三种资源。
a) namespace可以隔离相关资源,本试验用它来分隔组织,并且可以作为域名的一部分,如hostname.namespace以此解析道隔离外的pod。
b) deployment是一个pod的副本管理器,管理其生命周期等,方便扩容等,注意它是无状态的,部署solo时,尚可,但在部署kfk/zk需要使用stateful set。
c) service,通过label和pod相关联,关联后会创建endpoints,这样通过dns解析service找到对应的pod ip,可以访问到后端的pod,如此,解决了pod ip易变的情况。

这里,访问peer0,orderer,便可以通过配置的域名,peer0.org1,orderer.ord,对于k8s来说就是serviceName.namespace,解析到pod的ip,进而创建fabric需要的连接。

上述文件,可通过scylhy/e2e_cli.one.org获取,使用时需要注意fabric工程的位置。

生成密钥等文件

root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli# ./generateArtifacts.sh 

启动fabric

./startall.sh
root@hw1:~# kubectl get pods -n ord
NAME                       READY   STATUS    RESTARTS   AGE
orderer-7674786cd7-hlm4q   1/1     Running   0          12h
root@hw1:~# kubectl get pods -n org1
NAME                     READY   STATUS    RESTARTS   AGE
cli-78865578c4-7994x     1/1     Running   12         12h
peer0-69f897ccbf-nl8qm   1/1     Running   0          12h
peer1-7df4868456
测试

测试前,需要确保docker容器可以解析道k8s内service ip;确保测试用的e2e_cli/script/script.sh已经对应修改完成。

测试docker容器,可以解析到k8s的service:

root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# apt update
root@9c926041b6bd:/# apt install dnsutils -y
root@9c926041b6bd:/# nslookup orderer.ord
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	orderer.ord.svc.cluster.local
Address: 10.244.0.5

root@9c926041b6bd:/# nslookup peer0.org1 
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	peer0.org1.svc.cluster.local
Address: 10.101.100.62

root@9c926041b6bd:/# nslookup peer1.org1
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	peer1.org1.svc.cluster.local
Address: 10.103.73.88

root@9c926041b6bd:/# 

测试fabric:

root@hw1:~# kubectl get pods -norg1
NAME                     READY   STATUS    RESTARTS   AGE
cli-78865578c4-7994x     1/1     Running   12         12h
peer0-69f897ccbf-nl8qm   1/1     Running   0          12h
peer1-7df4868456-l8t68   1/1     Running   0          12h
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# 
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.sh

root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.sh

 ____    _____      _      ____    _____           _____   ____    _____ 
/ ___|  |_   _|    / \    |  _ \  |_   _|         | ____| |___ \  | ____|
\___ \    | |     / _ \   | |_) |   | |    _____  |  _|     __) | |  _|  
 ___) |   | |    / ___ \  |  _ <    | |   |_____| | |___   / __/  | |___ 
|____/    |_|   /_/   \_\ |_| \_\   |_|           |_____| |_____| |_____|

Channel name : mychannel
org1
CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/ca.crt
CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.key
CORE_PEER_LOCALMSPID=Org1MSP
CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock
CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.crt
CORE_PEER_LOCALMSPTYPE=bccsp
CORE_PEER_ADDRESSAUTODETECT=true
CORE_PEER_TLS_ENABLED=true
CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/users/Admin@org1/msp
CORE_PEER_ID=cli
CORE_LOGGING_LEVEL=DEBUG
CORE_PEER_ADDRESS=peer0.org1:7051
===================== Querying on peer0.org1 on channel 'mychannel'... ===================== 
Attempting to Query peer0.org1 ...3 secs

value is 100
===================== Query successful on peer0.org1 on channel 'mychannel' ===================== 
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# 

测试过程中,会实例化一个链码容器,查看链码容器日志,之后链码查询,链码容器会输出查询结果:

root@hw1:~# docker ps
CONTAINER ID        IMAGE                                                                                      COMMAND                  CREATED             STATUS              PORTS               NAMES

11bd29a1008f        dev-peer0.org1-mycc-1.0-4fac5ccda796c8f3c437d6950858e40cf37ea6bfa1f179a8ae8aa49ddc58b359   "chaincode -peer.add…"   12 hours ago        Up 12 hours                             dev-peer0.org1-mycc-1.0

root@hw1:~# docker logs -f 11bd29a1008f  
ex02 Init
Aval = 100, Bval = 200
ex02 Invoke
Query Response:{"Name":"a","Amount":"100"}
后续工作
  1. 在k8s上部署kfk/zk集群,试验fabric witch kfk/zk consensus on k8s
  2. 数据持久化操作,保存fabric账本数据
  3. 链码容器监控,因其不在k8s上,所以要自己管理其生命周期,监控其状态,以及如何更好的好k8s配置
  4. 简易化操作,自动化部署fabric on k8s
  5. 在k8s上测试fabric各组件的可靠性
文件获取
  1. scylhy/e2e_cli.one.org
  2. scylhy/fabric.k8s
参考资料
  1. Creating a single master cluster with kubeadm
  2. “Failed to setup network for pod \ using network plugins “cni”: no IP addresses available in network: podnet; Skipping pod”
  3. Local DNS or Public DNS, why not both? (/etc/docker/daemon.json)
  4. 在 Kubernetes 上部署 Hyperledger Fabric v1.2 Solo(二)
Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐