1. 项目需求2. flume采集数据3. 编写数据清洗程序4. 脚本开发和启动将数据清洗程序导出成data-clean.jar存储在windows本地，并导入到linux，接下来就是用一个shell脚本（命名为data-clean.sh）去运行data-clean.jar。#!/bin/bashday_str=`date + '%Y-%m-%d'`inpath=/app-log-...

pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.or

1. 集中趋势与离散趋势通常一批数据，先看他们的描述统计（可画出箱型图），即看集中趋势和离散趋势。集中趋势：集中趋势又称“数据的中心位置”、“集中量数”等。它是一组数据的代表值。统计学中常用平均数来描述一组变量值的集中位置或平均水平。常用的统计量指标有算数均数、几何均数、中位数和百分位数。1）算数均数：即为均数，用以反映一组呈对称分布的变量值在数量上的平均水平。2）几何均数：常用以反映一...

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

canal实现redis和mysql同步

Redisson实现Redis分布式锁