本文从数据平台治理角度讲数据治理

Mapjoin/Auto Mapjoin参数不合理。Map/Join/Reduce参数不合理。ServiceMode参数不合理。小fuxi instance治理。超大merge任务治理。logview异常耗时处理。被高频访问的adm视图治理。D2/DG互通链路治理。D2/DG的DQC治理。高频预警/破线治理。性能差的自定义函数治理。Owner离职/转岗。

数据治理是一种组织内部的规范体系，通过组织内各相关方的治理协同，以实现数据资源治理、数据成本治理、数据质量治理、数据稳定性治理，从而保障组织内低成本、高治理的数据资产管理和使用，进而赋能组织业务策略和目标。

部门需求hbase做数据存储,只有一个正式环境集群,没有测试环境.所以考虑本地部署一个hbase测试环境.hbase本地环境部署安装docker容器,windows只支持win10.我是mac,直接从官网下载https://www.docker.com/docker-mac安装启动docker:#拉取容器docker pull harisekhon/hbase#启动容器docker

修改配置文件vim $KAFKA_HOME/config/consumer.properties 添加修改bootstrap.servers=HK70:9092,HK69:9092,HK68:9092group.id=hk-consumer-groupauto.offset.reset=earliest##下面SASL加密(如不需要忽略)sasl.jaas.config=org.apache

新建spring boot项目这里使用intellij IDEA添加kafka集成maven<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:s