文章目录1、数据容错语义2、SparkStreaming消费Kafka（自动提交消费者偏移量）3、 消费者偏移量的存储3.1、存Kafka的主题3.2、存数据库4、参考文献1、数据容错语义encn说明at most once数据最多一条数据可能会丢，但不会重复at least one数据至少一条数据绝不会丢，但可能重复exactly once数据有且只有一条数据不会丢，也不会重复2、SparkSt

PVPage View，页面浏览量UVUnique Visitor，独立访客数（本文按设备ID去重）

合并树家族MergeTree排序键主键分区数据生命周期其它设置ReplacingMergeTreeSummingMergeTree日志家族其它内存引擎表引擎表引擎作用：数据的存储方式和位置支持哪些查询以及如何支持并发数据访问索引的使用（如果存在）是否可以执行多线程请求数据复制参数

ClickHouse的JOIN逻辑ClickHouse单引号和双引号窗口函数ClickHouse临时表ClickHouse窗口函数

`source /etc/profile.d/custom.sh`个人专用的集群环境变量环境变量文件hosts集群环境变量source命令集群环境变量source脚本python自动化运维脚本hadoop环境变量profile

python、byte、bytes、hex、to_bytes

mavenGit仓库服务器进程编译、打包、重启

jdbcmybatis

1.1、创建群（然后将别人移出群聊）1.2、单击群设置>智能群助手1.3、在机器人管理页面选择自定义机器人1.4、输入机器人名字1.5、创建完成，要记下Webhook(就是消息发送的地址)1.6、机器人创建完成后会在群报道，点击机器人头像也可查看Webhook。使用DolphinScheduler发送告警

需求：每个城市的广告点击Top2SparkCore实现SparkSQL实现需求：省份点击数Top2数据方法1：reduceBy省份方法2：先reduceBy城市，再reduceBy省份打印自定义分区器 求TopN