前言很多人应该有过这样的体会，在windows上写好了shell脚本，然后在linux上创建一个空白文件，将内容复制，结果全是被注释！原因推测是 脚本shebang行（#!/bin/bash）开头有个#，所以复制过来以后的内容都会加入#！而在脚本中#代表注释！解决办法在vim 进入编辑模式！:set paste...

场景在做sparkstreaming业务时，对接kafka数据源，用到了手动提交offset，利用mysql存放offset！在分区内创建获取德鲁伊连接池里的连接对象。一直获取不到connection，报错信息如下line:933):init datasource error, url: jdbc:mysql://hadoop102:3306/qz_course?useUnicode=true&a

这就是普罗米修斯处于的位置。普罗米修斯具有一个服务端，这个服务端提供两类服务，一个是主动poll数据的服务，一种是等待exporter端push数据。这里有个玩意是exporter，那么什么是Exporter？Exporter广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。类比于Zabbix中的agent。Exporter来源一般社区会提供大部分的ex

面试题kafka分区数5，flinksource并行度设置6。如何设置水位线才能使下游窗口触发计算！回答flink官方文档flink通过一个idel标志位标记channel，所以下游知道哪些channel是没有event的，最后去watermark就不会管那个有idel标记的空channel...

前言与第三方数据同步，约定使用kafka作为接收数据的中间件，但是之前配置有问题，所以导致外网无法向我们集群生产数据（我们的集群有公网网卡，对外暴露了指定的端口），后来查了很多资料才知道，需要做一些配置，下面我将配置要点贴下面。配置方法找到kafka的server.properties进行修改红色部分绑定该节点的内网ip加端口号listeners=PLAINTEXT://hostname:port

kafka一般加密采集

原因mvn配置文件中指定的镜像仓库中没有对应的jar包，后来百度了很多包括google，github上看了很多解决办法以后才知道，原来这个jar是在spring插件仓库里。所以有了后面的对mvn配置文件修改。解决办法<mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>