简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
flumeflume原官方本就没实现支持k8s或者其他容器部署,虽然能找到一些镜像,但没啥人用,因为坑就在这里flume最常用的source类型,taildir,可以监控指定的多个文件,一旦文件内有新写入的数据,就会将其写入到指定的sink内,但如果部署到容器上,flume就必须通过挂载监听文件,但这样就会有问题。因为flume读取追加内容的机制是通过记录一个偏移量文件来实现,这个文件也是需要配置
一:镜像准备同上篇一样你需要先搞一个镜像,把flume装上去。二:flume的配置文件准备# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements.See the NOTICE file# distributed with this work for ad
一:镜像准备自己在k8s集群上随便找个节点先用docker搞一个java镜像,在里面装上kafka2.8,然后使用我上篇博客生成集群ID的方法生成一个ID,保存下来,其他不用干。保存下来的ID用ConfigMap搞到集群。例如apiVersion: v1kind: ConfigMapmetadata:name: cluster-iddata:key: cp3xNauAQyq-CPd8bX3Rhg二
一:镜像准备自己在k8s集群上随便找个节点先用docker搞一个java镜像,在里面装上kafka2.8,然后使用我上篇博客生成集群ID的方法生成一个ID,保存下来,其他不用干。保存下来的ID用ConfigMap搞到集群。例如apiVersion: v1kind: ConfigMapmetadata:name: cluster-iddata:key: cp3xNauAQyq-CPd8bX3Rhg二
一:介绍kafka在Ralf协议上实现了KRalf,并用此替代了Zookeeper,目前2.8可以开始使用无Zookeeper模式,但官方不建议生产用。具体的协议原理以及说明请自行Baidu或者Google二:单机部署下载kafka2.8,解压。可以看到config里面有kraft文件目录。kraft目录下有三个配置文件以及一个readme.md,查看readme.md,也就是你目前能看到的官方给