摘要 Apache Paimon作为数据湖存储技术在银行准实时数仓应用中出现小文件问题，500M数据产生数百万小文件导致性能严重下降。文章分析了Paimon文件布局(包括snapshot、manifest和数据文件目录)，介绍了两种小文件分析工具(HDFS命令和Flink SQL)。通过案例实践，发现主要原因是未消费的consumerId导致snapshot过期失败，解决方案包括调整保留配置和清理

1.检查本地systemd的版本   [admin@localhost ~]$ systemctl --version          systemd 208   +PAM +LIBWRAP +AUDIT +SELINUX +IMA +SYSVINIT +LIBCRYPTSETUP +GCRYPT +ACL +XZ2.获取安装文件   wget http://www.free

docker最近非常的火，也是未来的发展趋势

kickstart系统安装中,镜像制作是其中的一个关键步骤.ubuntu14.04lts的防火墙是ufw,因为要apache默认是80端口,先关闭防火墙,ufwdisable.1.下载镜像wget http://ftp.corbina.net/pub/Linux/redhat/rhel6.4/rhel-server-6.4-x86_64-dvd.iso,放到root目录下面2.安装a

Ansible在自动化运维系统中的应用实践1.概述互联网技术的发展，机房里面机器的数量随之增加，运维的难度和复杂度也在增加，需要投入的运维人员和成本也在增加，从而催生了一系列的自动化运维工具（Ansible、SaltStack、Puppet）的产生来减少运维的成本。Ansible、SaltStack、Puppet都是目前比较受用户欢迎的自动化化运维工具，其中Ansible和SaltSta

在使用mybatis对接数据的时候，手动写mapper,model,client会比较费时间，可以试用mybatis_gererator来生成难度比较大的mybatis配置文件．先要用myeclipse创建java工程．将mysql-connector-java-5.1.18.jar放到指定的目录项目，并且配置generatorConfig.xml．<?xml version="1.0"