基于kubernetes的jaeger 链路追踪部署

基于kubernetes的jaeger 链路追踪部署jaeger的相关知识介绍架构图对OpenTracing的原生支持多个存储后端jaeger-agent（代理）jaeger-collectorjaeger-queryhotrod基于k8s的jaeger安装1.configmap 部署: jaeger-config.yaml2. jaeger-query 部署安装: jaeger-query-de

程序猿加油站

2479人浏览 · 2021-10-26 19:40:15

程序猿加油站 · 2021-10-26 19:40:15 发布

jaeger的相关知识

https://blog.csdn.net/douzizuibang/article/details/83312674
https://yq.aliyun.com/articles/514488
官网：https://www.jaegertracing.io/docs/1.7/
github上的jaeger: https://github.com/jaegertracing，https://github.com/jaegertracing/jaeger-kubernetes

介绍

Jaeger是Uber Technologies用GO语言开发的分布式跟踪系统，现已开源。它用于监视和排除基于微服务的分布式系统，包括：

分布式上下文传播
分布式事务监控
根本原因分析
服务依赖性分析
性能/延迟优化

架构图

在这里插入图片描述

对OpenTracing的原生支持

Jaeger后端，Web UI和仪器库已经完全设计为支持OpenTracing标准。

通过跨度参考将跟踪表示为有向非循环图（不仅仅是树）
支持强类型span 标记和结构化日志
通过行李支持通用分布式上下文传播机制

多个存储后端

Jaeger支持两个流行的开源NoSQL数据库作为跟踪存储后端：Cassandra 3.4+和Elasticsearch 6.x / 7.x. 正在进行使用其他数据库的社区实验，例如ScyllaDB，InfluxDB，Amazon DynamoDB。Jaeger还提供了一个简单的内存存储器，用于测试设置。

jaeger-agent（代理）

Jaege-agent client 与 collector 中间的代理层，监听发送过来的 spans 数据并批量发送至 collector。

jaeger-collector

Jaeger-collector接收发送自 jaeger-agent 的 trace 数据（或者可直接发送 zipkin spans 至 collector），验证、索引、转换及存储 trace 数据。

Jaeger的存储是一个可插拔的组件，目前支持Cassandra，Elasticsearch和Kafka。

jaeger-query

jaeger-query从storage 中查询 trace 及前端 ui 展示。

hotrod

测试案例部署。

基于k8s的jaeger安装

PS：因为需要使用到es所有与es与kibana、fluentd放入同一namespace

1.configmap 部署: jaeger-config.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: jaeger-configuration
  namespace: logging
  labels:
    app: jaeger
    jaeger-infra: configuration
data:
  span-storage-type: elasticsearch
  collector: |
    es:
      server-urls: http://elasticsearch:9200
      username: elastic
      password: changeme
    collector:
      zipkin:
        http-port: 9411
  query: |
    es:
      server-urls: http://elasticsearch:9200
      username: elastic

2. jaeger-query 部署安装: jaeger-query-deployment.yml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jaeger-query
  namespace: logging
  labels:
    app: jaeger
    jaeger-infra: query-deployment
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: jaeger
        jaeger-infra: query-pod
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "16686"
    spec:
      containers:
        - image: jaegertracing/jaeger-query:latest
          name: jaeger-query
          args: ["--config-file=/conf/query.yaml"]
          ports:
            - containerPort: 16686
              protocol: TCP
          readinessProbe:
            httpGet:
              path: "/"
              port: 16687
          volumeMounts:
            - name: jaeger-configuration-volume
              mountPath: /conf
          env:
            - name: SPAN_STORAGE_TYPE
              valueFrom:
                configMapKeyRef:
                  name: jaeger-configuration
                  key: span-storage-type
      volumes:
        - configMap:
            name: jaeger-configuration
            items:
              - key: query
                path: query.yaml
          name: jaeger-configuration-volume

3.jaeger query service的安装：jaeger-query-service.yml

apiVersion: v1
kind: Service
metadata:
  name: jaeger-query
  namespace: logging
  labels:
    app: jaeger
    jaeger-infra: query-service
spec:
  ports:
    - name: jaeger-query
      port: 80
      protocol: TCP
      targetPort: 16686
  selector:
    jaeger-infra: query-pod

4.jaeger-collector 部署安装：jaeger-query-collector.yml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jaeger-collector
  namespace: logging
  labels:
    app: jaeger
    jaeger-infra: collector-deployment
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: jaeger
        jaeger-infra: collector-pod
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "14268"
    spec:
      containers:
        - image: jaegertracing/jaeger-collector:latest
          name: jaeger-collector
          args: ["--config-file=/conf/collector.yaml"]
          ports:
            - containerPort: 14267
              protocol: TCP
            - containerPort: 14268
              protocol: TCP
            - containerPort: 9411
              protocol: TCP
          readinessProbe:
            httpGet:
              path: "/"
              port: 14269
          volumeMounts:
            - name: jaeger-configuration-volume
              mountPath: /conf
          env:
            - name: SPAN_STORAGE_TYPE
              valueFrom:
                configMapKeyRef:
                  name: jaeger-configuration
                  key: span-storage-type
      volumes:
        - configMap:
            name: jaeger-configuration
            items:
              - key: collector
                path: collector.yaml
          name: jaeger-configuration-volume

5. jaeger collector service的安装：jaeger-collector-service.yml

apiVersion: v1
kind: List
items:
  - apiVersion: v1
    kind: Service
    metadata:
      name: jaeger-collector
      namespace: logging
      labels:
        app: jaeger
        jaeger-infra: collector-service
    spec:
      ports:
        - name: jaeger-collector-tchannel
          port: 14267
          protocol: TCP
          targetPort: 14267
        - name: jaeger-collector-http
          port: 14268
          protocol: TCP
          targetPort: 14268
        - name: jaeger-collector-zipkin
          port: 9411
          protocol: TCP
          targetPort: 9411
      selector:
        jaeger-infra: collector-pod
      type: ClusterIP
  - apiVersion: v1
    kind: Service
    metadata:
      name: zipkin
      namespace: logging
      labels:
        app: jaeger
        jaeger-infra: zipkin-service
    spec:
      ports:
        - name: jaeger-collector-zipkin
          port: 9411
          protocol: TCP
          targetPort: 9411
      selector:
        jaeger-infra: collector-pod
      type: ClusterIP

6. 测试用例hotrod 与代理jaeger-agent的部署

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: hotrod
  namespace: logging
spec:
  template:
    metadata:
      labels:
        app: hotrod
    spec:
      containers:
        - image: jaegertracing/example-hotrod:latest
          name: hotrod
          ports:
            - containerPort: 8080
        - image: jaegertracing/jaeger-agent
          name: jaeger-agent
          ports:
            - containerPort: 5775
              protocol: UDP
            - containerPort: 5778
            - containerPort: 6831
              protocol: UDP
            - containerPort: 6832
              protocol: UDP
          command:
            - "/go/bin/agent-linux"
            - "--collector.host-port=jaeger-collector.logging:14267"
---
apiVersion: v1
kind: Service
metadata:
  namespace: logging
  labels:
    app: hotrod
  name: hotrod
spec:
  ports:
    - port: 8080
      targetPort: 8080
  selector:
    app: hotrod

---
apiVersion: v1
kind: Service
metadata:
  namespace: logging
  labels:
    app: hotrod
  name: jaeger-agent
spec:
  ports:
    - port: 6831
      targetPort: 6831
      protocol: UDP
  selector:
    app: hotrod

7.配置ingress 来访问服务，也可以使用NodePort的方式来访问

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: kibana-ingress
  namespace: logging
  annotations:
    kubernets.io/ingress.class: "nginx"
spec:
  tls:
    - hosts:
        - kibana.xinchanedu.com
      secretName: kibana-secret
    - hosts:
        - jaeger.xinchanedu.com
      secretName: kibana-secret
    - hosts:
        - hotrod.xinchanedu.com
      secretName: kibana-secret
  rules:
    - host: kibana.xinchanedu.com
      http:
        paths:
          - path: /
            backend:
              serviceName: kibana
              servicePort: 5601
    - host: jaeger.xinchanedu.com
      http:
        paths:
          - path: /
            backend:
              serviceName: jaeger-query
              servicePort: 80
    - host: hotrod.xinchanedu.com
      http:
        paths:
          - path: /
            backend:
              serviceName: hotrod
              servicePort: 8080

使用docker启动jaeger 测试环境所有数据都是存储到内存中

docker run -d --name jaeger   -e COLLECTOR_ZIPKIN_HTTP_PORT=9411   -p 5775:5775/udp   -p 6831:6831/udp   -p 6832:6832/udp   -p 5778:5778   -p 16686:16686   -p 14268:14268   -p 9411:9411   jaegertracing/all-in-one:latest

Docker部署jaeger并使用elasticsearch作为存储引擎

若你安装的collector和elasticsearch是在同一台机器上，使用docker容易的--link命令就可以将collector和elasticsearch关联上，安装命令如下：

docker run -d --name jaeger-collector --restart=always --link elasticsearch -e SPAN_STORAGE_TYPE=elasticsearch -e ES_SERVER_URLS=http://172.26.155.215:9200 -e ES_USERNAME=elastic -p 14267:14267 -p 14268:14268 -p 9411:9411 jaegertracing/jaeger-collector

注意：
 --link elasticsearch，代表docker 关联，该名字必须和你安装elasticsearch —name的名字相同
 --SPAN_STORAGE_TYPE=elasticsearch 代表安装jaeger选择elasticsearch作为存储
-e ES_SERVER_URLS=http://elasticsearch:9200次条目代表你选择容器安装的elasticsearch的9200端口
-e ES_USERNAME elasticsearch的用户名:默认elastic，下同
-e ES_PASSWORD elasticsearch的密码  没有设置密码不用填

-e 其实就是代表的环境变量，其他变量你可以使用以下语句查看：

当然，一般生产环境你肯定不会将collector和elasticsearch安装到同一台机器，至少你可能会安装多个collector，所以，如何跨机器的用collector连接此elasticsearch呢？
你可以用用以下命令：

docker run -d --name jaeger-collector  --restart=always -e SPAN_STORAGE_TYPE=elasticsearch -e ES_SERVER_URLS=http://es部署机器的ip:9200 -e ES_USERNAME=elastic -p 14267:14267 -p 14268:14268 -p 9411:9411 jaegertracing/jaeger-collector

区别在于，你无需使用—link来进行容器互连，只需ES_SERVER_URLS填写对应的ip和port即可；


如出现以下错误：
"caller":"collector/main.go:102","msg":"Failed to init storage factory","error":"health check timeout: no Elasticsearch node available","errorVerbose":"no Elasticsearch node available
请检查elasticsearch地址是否正确

docker + query安装

同collector一样，若你安装的collector和elasticsearch是在同一台机器上，使用docker容易的–link命令就可以将query和elasticsearch关联上，安装命令如下：

docker run -d --name jaeger-query --restart=always --link elasticsearch -e SPAN_STORAGE_TYPE=elasticsearch -e ES_SERVER_URLS=http://172.26.155.215:9200 -p 16686:16686/tcp jaegertracing/jaeger-query

注意，ES_USERNAME、ES_PASSWORD这两个环境变量，当你的elasticsearch未设置账号密码时，你可以不填，也可以填上默认值，elasticsearch的默认ES_USERNAME=elastic，ES_PASSWORD=changeme

部署完成query之后，根据你暴露的端口号（-p 16686:16686/tcp），浏览器输入以下地址(将localhost换成你部署query的地址)：
http://localhost:16686

注意：如果报elasticsearch以下错误
jaeger-query HTTP Error: search service failed: elastic: Error 400 (Bad Request): all shards failed [type=search_phase_execution_exception]
删除之前的ja索引后重新收集即可
curl -XDELETE 'http://172.26.155.215:9200/ja*'

docker + agent安装

根据uber jaeger官网的架构，agent一般是和jaeger-client部署在一起，agent作为一个基础架构，每一台应用（接入jaeger-client的应用）所在的机器都需要部署一个agent;
根据数据采集原理，jaeger-client采集到数据之后，是通过UDP端口发送到agent的，jaeger-client和agent部署在一起的好处是UDP传输数据都在应用所在的机器，可避免UDP的跨网络传输，多一层安全保障。
当然，架构可能是多变的，你的agent可能不和jaeger-client所在的应用在一台机器，这个时候，jaeger-client就必须显示的指定其连接的agent的IP及port,具体做法后文jaeger-client对应模块会讲到。
前文提到，jaeger-client采集到数据之后，是通过UDP端口发送到agent的，agent接收到数据之后，使用Uber的Tchannel协议，将数据发送到collector，所以，agent是必须和collector相连的；

docker run -d  --name jaeger-agent --restart=always -p 5775:5775/udp -p 6831:6831/udp -p 6832:6832/udp -p 5778:5778/tcp jaegertracing/jaeger-agent --reporter.grpc.host-port=172.26.155.215:14267

如前文所述，你可能不止一个collector，你可能需要这样：
docker run -d  --name jaeger-agent --restart=always -p 5775:5775/udp -p 6831:6831/udp -p 6832:6832/udp -p 5778:5778/tcp jaegertracing/jaeger-agent --reporter.grpc.host-port=jaeger-collector-id1:14267,jaeger-collector-ip2:14267,jaeger-collector-ip3:14267

//--collector.host-port=collector jaeger-collector-id1:14267,jaeger-collector-ip2:14267,jaeger-collector-ip3:14267，用逗号分开，连接三个collector，这样的话，这三个collector只要一个存活，agent就可以吧数据传输完成，以避免单点故障

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这