logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

k8s集群中主要的几个工具的作用

Node节点包括Docker、kubelet、kube-proxy、Fluentd、kube-dns(可选),还有就是Pod。Pod是Kubernetes最基本的操作单元。一个Pod代表着集群中运行的一个进程,它内部封装了一个或多个紧密相关的容器。除了Pod之外,K8S还有一个Service的概念,一个Service可以看作一组提供相同服务的Pod的对外访问接口。Docker,不用说了,创...

#k8s
在K8s上运行node.js

有关node.js的搭建参考我的另一篇文章部署Node.js应用kubectl run k8snode --image=tumaimes/node_web:0.1 --port=8080 --generator=run-pod/v1#查看所有的rckubectl get rc#rc 、svc 、po 均属简称#删除podkubectl detele pod <name>...

#k8s#node.js
Kafka Connect 分布式部署方案

前言:Zookeeper、Kafak的集群部署这里不过多说明。版本:Kafka2.3。一 、 kafak Connect的分布式配置文件### Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements.See the NOTIC...

Kafka Connect 中avro序列化Date数据类型时在使用官方推荐的方式编码时引发的血案

前言在工作中使用DataX组件来封装Sink端写入Kafka中,在使用Schema注册器时遇到的问题。本人的另一篇博客,中所使用的方式在这种方式下存在一个非常严重的bug,avro只支持基本数据对应date类的数据类型时无法序列化。最终导致本人已写好的代码进行了重构。对应date数据类型在国内使用时会出现反序列化的数据不一致。解决方案参考本人的另一篇博客。直接上Demo演示生成者package o

kafka开启Kerberos安全认证Java编程生成者与消费组示例

一、相关配置文件kafka_client_jaas.conf配置项KafkaClient {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=truestoreKey=truekeyTab="D:\\kafka-connect\\5.5.0\\kafka-schema-test\\src\\main\\resources\

canal在使用时因用户权限导致日志疯狂报错问题的解决方案

1、版本信息canal 1.4.1,目前所知1.5.1还没有修复2、官方的默认配置由图中可知官方在默认配置时开启了实例需要用户权限认证,由文档可知当配置时就默认开启 了所以会导致疯狂报错。真正的错误原因是源码中对此用户传递的是空字符串。2020-05-20 20:02:32.201 [Thread-3] ERROR c.a.o.canal.adapter.launcher.loader.Canal

Kafka-schema-registry的编译安装

一、安装Maven下载Maven安装包wget https://mirrors.aliyun.com/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz解压安装tar -zxvfapache-maven-3.6.3-bin.tar.gz配置环境变量查看是否安装成功二、下载源码包在下载...

#kafka
自定义扩展Sqoop的使用教程

开发API参考外部APISqoop通过配置自动生成把关系型数据库导入Hadoop系统的类。该类包含导入Hadoop的每个字段。该类的实例保存表的一行数据。生成的类实现Hadoop中使用的序列化Api,即 Writable 和 DBWritable 接口。以及其他方法:一个解释分隔文本字段的parse()方法一个toString()方法,用于保留用户选择的分隔符保证在生成的类中完整的方...

#sqoop
k8s在下载docker镜像时无法连接外网

could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Gethttps://dl.k8s.io/release/stable-1.txt: net/http: request canceled while wait...

到底了