prometheus、grafana监控安装部署

场景描述：　　公司埋点项目，数据从接口服务写入kafka集群，再从kafka集群消费写入HDFS文件系统，最后通过Hive进行查询输出。这其中存在一个问题就是：埋点接口中的数据字段是变化，后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化，否则无法通过Hive查询到最新添加字段的数据。解决办法：　　为数据表添加字段，字段必须添加到已有字段的最后面。因为已经存在的数据是按照之前的表结构写入

1、Transaction CoordinatorKafka事务Transaction Coordinator 事务的交易协调员PID ---通过---> Transaction Coordinator---获得--->Transaction ID为了实现跨分区跨会话的事务，需要引入一个全局唯一的Transaction ID，并将Producer获得的PID和Transaction I

可以从两方面考虑：1、如果是Kafka消费能力不足，则可以考虑增加Topic的分区数（一般一个Topic分区数为3-10个），并且同时提升消费组的消费者数量，消费者数==分区数。两者缺一不可2、如果是下游的数据处理不及时：则提高每批次拉取的数量。批次拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压。...

今天发现一台服务器时间比北京时间慢 12 个小时，使用 date 命令后发现是：root@ubuntu# dateThu Mar 22 08:13:10EDT 2020EDT 时间即美国东部时间。这里要改为北京时间即可：命令如下：root@ubuntu# mv /etc/localtime /etc/localtime.bakroot@ubuntu# ln -s /usr/share/zonein