k8s!Ingress服务
文章目录一 ingress1.1ingress 介绍1.2 ingress 优势与工作原理3、Ingress-nginx工作原理二、实验示例:再次访问www.test1.com:端口2.1 jenkins 常用插件2.2 使用的插件类型一 ingress背景:service暴露服务的方式,在实际生产环境中不太合适:ClusterIP的方式只能在集群内部访问。NodePort方式的话,测试环境使用还
文章目录
一 ingress
- 背景
service暴露服务的方式,在实际生产环境中不太合适:
ClusterIP的方式只能在集群内部访问。
NodePort方式的话,测试环境使用还行,当有几十上百的服务在集群中运行时,NodePort的端口管理是灾难。
LoadBalance方式受限于云平台,且通常在云平台部署ELB还需要额外的费用。
- 引入
ingress
ingress可以简单理解为service的service,他通过独立的ingress对象来制定请求转发的规则(路由和proxy规则),把请求路由到一个或多个service(L4)中。这样就把服务与请求规则解耦了,可以从业务维度(NGINX — 域名)统一考虑业务的暴露,而不用为每个service单独考虑。
举个例子,现在集群有api、文件存储、前端3个service,可以通过一个ingress对象来实现图中的请求转发:ingress规则是很灵活的,可以根据不同域名、不同path转发请求到不同的service,并且支持https/http(阿里云中ingress,使用了这个技术的时候,会自带给你创建一个加密的HTTPS的证书)
ng + tomcat
www.ky11.com/ ————》 Nginx
www.ky11.com/tomcat ——》tomcat
而 / 和 /tomcat ——》在ingress的yml文件中定义PATH来决定的
- K8S中Ingress结构 :
ingress(L7) service(L4) label selector pods
port: 80 ——》 域名1 ————————》app-service ————》app selector ————》app
1.1ingress 介绍
-
ingress-api与ingress-controller
-
ingress分为两个概念,ingress-api和ingress-controller
① ingress-api:指的是k8s中的一个api对象,一般用yaml配置,一般作用是定义请求如何转发到service的规则,也就是配置的规则(
可根据http header、path 等进行路由转发
)Ingress 控制器有各种类型,包括 Google Cloud Load Balancer, Nginx,Contour,Istio
,等等。它还有各种插件
② ingress-controller:一个容器,容器中运行着负载均衡的程序,比如ingress-nginx、ingress-haproxy。ingress-controller会对ingress定义的规则(yml文件中的配置项/列表清单
)进行解析(将反向代理的规则、匹配路径的方式注入到容器中负载均衡服务的配置文件中
),根据配置的规则来实现请求转发。
ingress常见的部署范式
PS:考虑到的原因
ingress-controller是作为pod来运行的,以什么方式部署比较好
ingress解决了把如何请求路由到集群内部,那它自己怎么暴露给外部比较好
- Deployment+LoadBalancer模式的Service
这中方式适合在公有云,用deployment部署ingress-controller,创建一个type为LoadBalancer的service关联这组pod2. Deployment+NodePort模式的Service2.同样用deployment模式部署ingress-controller,并创建对应的服务,但是type为NodePort。这样,ingress就会暴露在集群节点ip的特定端口上。由于nodeport暴露的端口是随机端口,一般会在前面再搭建一套负载均衡器来转发请求
- DaemonSet+HostNetwork+nodeSelector
用DaemonSet结合nodeselector来部署ingress-controller到特定的node上,然后使用HostNetwork直接把该pod与宿主机node的网络打通,直接使用宿主机的80/433端口就能访问服务。
1.2 ingress 的优势
1、动态配置服务
如果按照传统方式, 当新增加一个服务时, 我们可能需要在流量入口加一个反向代理指向我们新的k8s服务. 而如果用了Ingress-nginx, 只需要配置好(定义好YML文件)这个服务, 当服务启动时, 会自动注册(yml配置清单会注入到ingress 容器中的负载均衡服务的配置
)到Ingress的中, 不需要而外的操作。
2、减少不必要的端口映射
配置过k8s的都清楚, 第一步是要关闭防火墙的, 主要原因是k8s的很多服务会以NodePort方式映射出去, 这样就相当于给宿主机打了很多孔, 既不安全也不优雅. 而Ingress可以避免这个问题, 除了Ingress自身服务可能需要映射出去, 其他服务都不要用NodePort方式
1.3 Ingress-nginx工作原理
1)ingress controller通过和kubernetes api交互,动态的去感知集群中ingress规则变化, ——————》动态感知变化
2)然后读取它,按照自定义的规则,规则就是写明了哪个域名对应哪个service,生成一段nginx配置, ——》动态生成配置
3)再写到nginx-ingress-controller的pod里,这个Ingress controller的pod里运行着一个Nginx服务,ingress控制器会把生成的nginx配置写入/etc/nginx.conf文件中, ——》由ingress控制器注入到nginx_pod中
4)然后reload一下使配置生效。以此达到域名分别配置和动态更新的问题。 ——>重载nginx_Pod配置
二、实验
2.1 创建ns
kubectl create ns ky11
kubectl get namespaces
2.2 创建deploy、service资源
vim httpd.yml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
name: web01
namespace: ky11
spec:
replicas: 3
template:
metadata:
labels:
app: httpd01
spec:
containers:
- name: httpd
image: httpd
---
apiVersion: v1
kind: Service
metadata:
name: httpd-svc
namespace: ky11
spec:
selector:
app: httpd01
ports:
- protocol: TCP
port: 80
targetPort: 80
--->wq
kubectl apply -f httpd.yml
2.3 创建tomcat及其service
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
name: web02
namespace: ky11
spec:
replicas: 3
template:
metadata:
labels:
app: tomcat01
spec:
containers:
- name: tomcat
image: tomcat:8.5.45
---
apiVersion: v1
kind: Service
metadata:
name: tomcat-svc
namespace: ky11
spec:
selector:
app: tomcat01
ports:
- protocol: TCP
port: 8080
targetPort: 8080
--->wq
kubectl apply -f tomcat.yml
2.4 检查
kubectl get svc -n ky11
CURL -I “httpd-svc”
CURL -I “tomcat-svc”
2.5 创建Ingress-nginx资源对象
- 下载网址:
https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml
#修改212行内容
spec: #212行的spec字段
hostNetwork: true #添加此行,表示使用主机网络
# wait up to five minutes for the drain of connections
terminationGracePeriodSeconds: 300
serviceAccountName: nginx-ingress-serviceaccount
nodeSelector:
kubernetes.io/os: linux
containers:
- name: nginx-ingress-controller
image: registry.aliyuncs.com/google_containers/nginx-ingress-controller:0.29.0
##修改以上镜像
- 发布、查看
kubectl apply -f mandatory.yaml
kubectl get pod -n ingress-nginx -o wide
############定义ingress 规则
vim ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: test-ingress
namespace: ky11
annotations:
nginx.ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- host: www.test01.com
http:
paths:
- path: /
backend:
serviceName: httpd-svc
servicePort: 80
- path: /tomcat
backend:
serviceName: tomcat-svc
servicePort: 8080
kubectl apply -f ingress.yaml
kubectl get ingresses -n ky11
2.6 在win10主机上配置映射
访问www.test01.com 及www.test01.com/tomcat
PS:
在上面的访问测试中,虽然访问到了对应的服务,但是有一个弊端,就是在做DNS解析的时候,只能指定Ingress-nginx容器所在的节点IP。而指定k8s集群内部的其他节点IP(包括master)都是不可以访问到的,如果这个节点一旦宕机,Ingress-nginx容器被转移到其他节点上运行(不考虑节点标签的问题,其实保持Ingress-nginx的yaml文件中默认的标签的话,那么每个节点都是有那个标签的)。随之还要我们手动去更改DNS解析的IP(要更改为Ingress-nginx容器所在节点的IP,通过命令“kubectl
get pod -n ingress-nginx -o wide”可以查看到其所在节点)。
所以需要为Ingress-nginx规则再创建一个类型为nodePort的Service,这样,在配置DNS解析时,就可以使用www.test01.com绑定所有node节点,包括master节点的IP。
三 示例
cat service-nodeport.yaml
apiVersion: v1
kind: Service
metadata:
name: ingress-nginx
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
spec:
type: NodePort
ports:
- name: http
port: 80
targetPort: 80
protocol: TCP
- name: https
port: 443
targetPort: 443
protocol: TCP
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
kubectl apply -f service-nodeport.yaml
kubectl get svc -n ingress-nginx
3.1 再次访问www.test1.com:端口
3.2 jenkins 常用插件
Git Parameter:这是一个参数构建扩展,可以在构建的时候选择git的某一个分支来构建服务。
Docker:利用Docker容器动态创建Jenkins Slave。如果有了Kubernetes/Openshift集群,就不需要这个插件了。直接使用下面的Kubernetes插件。
jenkins非root启动的话,为了运行docker需要执行sudo chmod 777 /var/run/docker.sock
Kubernetes:这个插件可以将Jenkins Slave Node动态配置为Kubernetes集群上的pod。
Openshift:这个插件支持调度Openshift的对象,包括触发 BuildConfig、Deployment、Scale up a Deployment,给ImageStream打新的Tag,以及创建新的对象、删除已有对象等。
GitLab: 配置Gitlab的相关认证,同时也支持GitLab的Webhook触发。
GitLab Hook: 支持GitLab更好的触发。
Gogs WebHook: 支持Gogs代码仓库的触发。
Maven:这个插件为Maven 2 / 3项目提供了高级集成功能。
Pyenv Pipeline:方便对python进行项目级别的环境隔离。
jenkins机器上需要安装python、pip、virtualenv
Python:这个插件支持在Jenkins的构建过程中执行Python脚本。
SonarQube Scanner:支持SonarQube的代码扫描。
Ansible:在构建任务中可以执行Ansible任务。
Publish Over SSH:通过SSH拷贝文件到目标机器,同时可以在目标机器上执行脚本
Publish Over SSH:事先要在设置中添加目标机器的访问方式。
Job Generator:定义一个参数化的模板,通过这个模板快速的在 Jenkins 上创建出任务
Pipeline:Job:添加一个新的Job类型:Pipeline。
Multijob:把多个Job组织起来。
Parameterized Trigger:这是一个扩展型的插件,使各个job连接的时候可以传递一些job相关的信息。
Join:这也是一个触发job的插件,亮点在于它触发job的条件是等待所有当前job的下游的job都完成才会发生。
Build Pipeline:这个插件提供一个构建流水线的视图。同时它提供了一个任务的手动触发器。
Monitoring监控:监控Jenkins节点的CPU、系统负载、平均响应时间和内存使用。
3.3 使用的插件类型
① 用户及权限
② 代码管理的
③ 项目视图的
④ 构建触发
⑤ 构建任务环境
⑥ 构建通知
Jenkins 用户权限管理是Jenkins Administration中非常很重要的环节,由于大部分企业都会有自己的域控管理,所以和LDAP集成并基于用户组实现权限模型设计与管理是企业级Jenkins实践的重要内容。
l LDAP (https://plugins.jenkins.io/ldap),这个插件允许使用LDAP对用户进行认证,LDAP 服务器可以为Active Directory 或者 OpenLDAP。
l Active Directory https://plugins.jenkins.io/active-directory,这个插件允许使用Active Directory对用户进行认证,同时结合诸如Matrix Authorization Strategy插件,可以识别用户所在的所有用户组,对用户授权进行灵活配置。
l 基于Windows Active Directory进行域管理的企业,推荐采用Active Directory。
l GitHub Authentication https://plugins.jenkins.io/github-oauth,这个插件提供了使用GitHub进行用户认证和授权的方案。
l Gitlab Authentication https://plugins.jenkins.io/gitlab-oauth,这个插件提供了使用GitLab进行用户认证和授权的方案。
l Matrix Authorization Strategy https://plugins.jenkins.io/matrix-auth,这个插件提供了基于矩阵的授权策略,支持全局和项目级别的配置。
l Role-based Authorization Strategy https://plugins.jenkins.io/role-strategy,这个插件提供了一种基于角色(Role)的用户权限管理策略,支持创建global角色、Project角色、Slave角色,以及给用户分配这些角色。这款插件是最常用的Jenkins权限策略和管理插件。
- 代码管理
Jenkins 项目中配置Source Code Management 去下载代码进行构建任务,是非常普遍的应用场景。Jenkins插件支持很多SCM的系统,使用最常见的是Git 和SVN。
l Git https://plugins.jenkins.io/git,支持使用Github、GitLab、Gerrit等系统管理代码仓库。
l Subversion https://plugins.jenkins.io/subversion,支持Subversion系统管理源代码。
- 项目及视图
Jenkins中对Project 和 view的管理,是用户日常工作中使用很多的功能。
l Folder https://plugins.jenkins.io/cloudbees-folder,这个插件支持用户使用目录管理项目,目录支持嵌套,并且支持目录中创建视图。
l List view Jenkins 默认支持List类型的视图,用户可以创建List视图过滤所关心的项目。
l Sectioned View https://plugins.jenkins.io/sectioned-view,这个插件支持一种新的视图,视图可以分为多个部分,每部分可以单独配置显示所选择的项目信息。
l Nested View https://plugins.jenkins.io/nested-view,这个插件支持一种新的视图,其表示直接显示项目,而是以目录图标显示所包含的子视图,每个子视图显示所选项目信息。
l Build Pipeline https://plugins.jenkins.io/build-pipeline-plugin,这个插件提供了一种Build Pipeline 视图,用于显示上、下游项目构建的关系。
- 构建触发
Jenkins支持多种Build 触发方式,尤其一些自动化触发方式非常有用
l Build periodically,Jenkins 内置功能,可以设置类似crontab时间,周期性地自动触发构建。
l Poll SCM,Jenkins 内置功能,类似Build periodically,可以设置类似crontab时间,不同的是不是直接进行构建,而是周期性地在后台检查所配置的SCM有没有更新,只有当有代码更新时才会触发构建。
l Trigger builds remotely (e.g., from scripts),Jenkins 内置功能,远程触发构建,通过设置token可以支持远程脚本中触发Jenkins构建。
l Gerrit Trigger https://plugins.jenkins.io/gerrit-trigger,这个插件将Jenkins集成到Gerrit code review中,支持Jenkins配置Gerrit服务器等信息,实现Gerrit event 触发Jenkins 构建。
l GitLab https://plugins.jenkins.io/gitlab-plugin, 这个插件将Jenkins 集成到GitLab web hook中,支持Gitlab 分支及Merge Request等相关事件触发Jenkins构建。
l GitHub Integration https://plugins.jenkins.io/github-pullrequest ,这个插件将Jenkins集成到GitHub中,支持Gitgub分支及Pull requests 触发Jenkins 构建。
l JIRA Trigger https://plugins.jenkins.io/jira-trigger,这个插件将Jenkins集成到Jira WebHooks中,支持Jira issue的状态等变化时触发Jenkins构建。
- 构建参数
Jenkins除了支持普通的参数类型(布尔型、字符串型、多行文本型、选择型和文件型 )外,还有一些插件支持更加丰富实用的参数类型,比如参数间动态关联、多层级参数、隐藏参数等 。
l nodelabelparameter https://plugins.jenkins.io/nodelabelparameter,这个插件增加了一个新的参数类型,Node 和 Label,从而使用户通过参数可以选择项目构建运行的节点。
l 其他插件不一一列举,可以查看插件说明
Ø https://plugins.jenkins.io/hidden-parameter
Ø https://plugins.jenkins.io/extended-choice-parameter
Ø https://plugins.jenkins.io/validating-string-parameter
Ø https://plugins.jenkins.io/extensible-choice-parameter
Ø https://wiki.jenkins.io/display/JENKINS/Active+Choices+Plugin
- 构建任务及环境
围绕构建任务,有许多小的插件,却提供了一些实用的功能
l Workspace Cleanup https://plugins.jenkins.io/ws-cleanup,这个插件支持在构建前后 删除或者部分删除workspace
l description setter https://plugins.jenkins.io/description-setter,这个插件支持正则表达式匹配构建log输出,设置构建的描述
l build-name-setter https://plugins.jenkins.io/build-name-setter,这个插件支持设置构建的显示名字,而不是默认的为#1,#2,……,#buildnum
l Environment Injector https://plugins.jenkins.io/envinject,这个插件支持在构建任务的不同阶段插入环境变量,并且在构建结束导出所有的环境变量等功能。
- 构建通知
把构建状态及时地通知用户,是Jenkins的一个必不可少的功能。Jenkins支持多种主动和被动的通知方式。
l Mailer https://plugins.jenkins.io/mailer,这个插件支持基本的邮件通知功能,比如构建失败和构建恢复成功可以发送邮件通知给相关人员。
l Email Extension https://plugins.jenkins.io/email-ext,这个插件是邮件通知的扩展,支持定制邮件内容,触发条件以及邮件接收者,功能比基本邮件通知要灵活强大的多。
l Slack Notification https://plugins.jenkins.io/slack,这个插件支持把构建结果推送到Slack channel。
容器化Slave
Jenkins的Master-Slave架构实现了分布式构建,可以充分的横向扩展Slave来提升构建能力,将Slave容器化是目前主流的构建环境标准化、集群化和弹性化的方式。
l https://plugins.jenkins.io/docker-plugin,这个插件可以配置docker host ,从而动态的提供Jenkins Agent(Slave),运行构建后再销毁这个slave。
l https://plugins.jenkins.io/kubernetes,这个插件支持利用Kubernetes cluster 动态的提供Jenkins Agent(Slave),利用Kubernetes 调度机制来优化Jenkins 负载等。
- gAdmin相关插件
l Configuration Slicing https://plugins.jenkins.io/configurationslicing,这个插件支持批量修改项目配置
l Mask Passwords https://plugins.jenkins.io/mask-passwords,这个插件支持遮挡构建log输出的password等敏感信息
l Backup https://plugins.jenkins.io/backup,这个插件添加备份功能到Jenkins management
更多推荐
所有评论(0)